LLM训练出来虽然知道很多信息,但是对于企业私有数据和新的数据,大语言模型(LLM)还是不知道的,许多LLM应用程序都需要查询企业私有数据,然后把私有数据作为背景信息拼接到提示词(prompt)里面,丢给大模型,让大模型根据背景信息回答问题。LangChain提供了加载、转换、存储和查询数据的框架组件
LangChain针对私有数据的处理组件包括:
- 文档加载器:支持从不同的来源加载文档数据
- 文档转换器:拆分文档,将文档转换为Q&A格式,删除冗余文档等
- 文本嵌入模型:将非结构化文本转换为特征向量,用于支持语义相似搜索,例如查询跟问题相似的内容。
- 向量存储器:存储和搜索向量数据
- 检索器:LangChain封装的工具类,方便查询你的数据