Skip to content

Commit

Permalink
Update README.md
Browse files Browse the repository at this point in the history
  • Loading branch information
Yu-Yang-Li committed Jul 27, 2023
1 parent 54fc2e6 commit bc6eee2
Showing 1 changed file with 10 additions and 10 deletions.
20 changes: 10 additions & 10 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -29,11 +29,9 @@

1.基础模型安装:Checkpoint中存有Lora文件,Model中保存了相应模型,可根据配置条件自行选择合适方式加载,具体可参考ChatGLM2-6B官方教程。

2.链接知识库/StableDiffusion:Wenda(闻达)项目已有非常成熟的实现,基于StarGLM,能够进行多种天文相关的文本处理、知识库筛选等任务
2.链接知识库/StableDiffusion:Wenda(闻达)项目已有非常成熟的实现,基于StarGLM,能够进行多种天文相关的文本处理、知识库筛选、AI绘画等任务

(注:考虑到版权因素,暂不直接提供知识库文件,部分书单可参考example/books,感谢沈长安(一只张秀)同学提供)

3.多模态探索(VisualGLM权重):还在进一步完善,包括对数据集的进一步清洗和等待基于ChatGLM2的版本,后续会开源相关权重。
(注:考虑到版权因素,暂不直接提供知识库文件,经典书籍可参考example/books,感谢沈长安(一只张秀)同学提供。变星领域相关知识,将在司天-变星知识图谱完善后一同发布。StableDiffusion使用的基模型与Lora权重见“使用/推荐的相关项目”)
## 许可证信息

项目源码遵从Alpaca 2.0,ChatGLM2-6b的模型权重使用需遵从相应许可。
Expand All @@ -50,17 +48,19 @@

### 大语言模型(科普方式)

- [ ] 二次预训练,扩充天文知识。
- [ ] 调整SFT中,通用数据和专业数据的比例,缓解灾难性遗忘问题。
- [ ] RLHF,进一步提升模型性能。
- [ ] 完善司天-变星知识图谱,与模型链接,进一步降低变星领域的幻觉问题。
- [ ] 在相关材料上进行二次预训练,扩充天文知识。
- [ ] 调整监督微调中,通用数据和专业数据的比例,缓解灾难性遗忘问题。
- [ ] 通过人工反馈的强化学习,进一步提升模型性能。
- [ ] 通过特定数据集微调,提升模型总结能力,进一步适配知识库。
- [ ] 完善司天-变星知识图谱,与模型链接,进一步降低变星领域的幻觉现象。

### 专业多模态(科研工具)

- [ ] 开源在变星光变曲线上训练的VisualGLM微调权重
- [ ] 继续训练输入/输出视觉编码器/解码器,提升在天文专业领域的多模态能力。
- [ ] 结合CodeGeeX2工作,提升模型在天文领域的编程能力。
- [ ] 考虑通过工具学习,链接相关天文工具。

### 观测Agent(司天大脑)

- [ ] 结合CodeGeeX2工作,提升模型在天文领域的编程能力。
- [ ] 考虑通过工具学习,链接相关天文专业工具。
- [ ] 紧跟Agent相关工作,验证作为司天大脑备选方案的可行性。

0 comments on commit bc6eee2

Please sign in to comment.