Home

项目简介

Open-retrievals致力于文本向量与重排，赋能信息检索(Information retrieval)与检索生成(RAG).

• 提供全套向量微调工具，微调后模型方便Transformers, Langchain, LlamaIndex调用
• 提供全套重排微调工具，

中文文本向量与重排模型

向量

• BGE 论文 开源
• m3e 开源
• picolo 模型
• GTE 论文
• PEG 论文
• stella 博客
• tao-8k 模型

重排

• BGE
• BCE
• alime-reranker-large-zh

open-retrievals设计

embedding模型对于接收到的输入，encode函数转化为对应的文本向量。reranking接收到的文本对，compute_score函数输出对应文本对的排序分数；colbert这种既能用于embedding又能用于reranking的则兼有.

• embedding: forward + encode
• reranking: forward + compute_score