11)自监督学习(Self-SupervisedLearning)
12)自注意力机制(Self-AttentionMechanism)
13)零样本学习(Zero-ShotLearning)
14)AIAlignment(AI对齐)
15)词嵌入(WordEmbeddings)
16)位置编码(PositionalEncoding)
17)中文LangChain
(1)提供无效回答:没有遵循用户的明确指示,答非所问。
(2)内容胡编乱造:纯粹根据文字概率分布虚构出不合理的内容。
(3)缺乏可解释性:人们很难理解模型是如何得出特定决策的,难以确信回答的准确性。
(4)内容偏见有害:模型从数据中获取偏见,导致不公平或不准确的预测。
(5)连续交互能力弱:长文本生成较弱,上下文无法做到连续。
17、中文LangChain
中文LangChain开源项目最近很火,其是一个工具包,帮助把LLM和其他资源(比如你自己的领域资料)、计算能力结合起来,实现本地化知识库检索与智能答案生成。
LangChain的准备工作包括:
1、海量的本地领域知识库,知识库是由一段一段的文本构成的。
2、基于问题搜索知识库中文本的功能性语言模型。
其主要工作思路如下:
1、把领域内容拆成一块块的小文件块、对块进行了Embedding后放入向量库索引(为后面提供语义搜索做准备)。
2、搜索的时候把Query进行Embedding后通过语义检索找到最相似的K个Docs。
THE END