一架梯子,一头程序猿,仰望星空!
LangChain教程(Python版本) > 内容正文

LangChain 本地数据处理能力简介


LLM训练出来虽然知道很多信息,但是对于企业私有数据和新的数据,大语言模型(LLM)还是不知道的,许多LLM应用程序都需要查询企业私有数据,然后把私有数据作为背景信息拼接到提示词(prompt)里面,丢给大模型,让大模型根据背景信息回答问题。LangChain提供了加载、转换、存储和查询数据的框架组件

LangChain针对私有数据的处理组件包括:

  • 文档加载器:支持从不同的来源加载文档数据
  • 文档转换器:拆分文档,将文档转换为Q&A格式,删除冗余文档等
  • 文本嵌入模型:将非结构化文本转换为特征向量,用于支持语义相似搜索,例如查询跟问题相似的内容。
  • 向量存储器:存储和搜索向量数据
  • 检索器:LangChain封装的工具类,方便查询你的数据



关联主题