大模型RAG

大模型RAG1、模型2、OpenAI库的基础使用3、RAG4、LangChain1、模型1 阿里云模型通义大模型阿里云模型指阿里云开源及商用的大模型系列核心品牌为通义大模型Tongyi / Qwen提供云端托管 API与开源模型两类服务2OllamaOllama是开源的本地大模型运行与管理工具定位类似 “大模型领域的 Docker”核心能力是简化本地部署、一键运行主流开源 LLM。优先使用阿里云模型的免费额度性能好其次再选用Ollama2、OpenAI库的基础使用OpenAI库是OpenAI公司发布的Python SDK方便与编程调用其产品现许多模型服务商都兼容OpenAI SDK的调用。使用主要就3个流程创建客户端对象OpenAI类对象和模型对话client.chat.completions.create可以提供3个角色使用system: 设定模型的行为和规则assistant: 设定模型的回答由用户设定user: 用户的提问处理结果response.choices[0].message.contentfromopenaiimportOpenAI# 1. 获取client对象OpenAI类对象clientOpenAI(base_urlhttps://dashscope.aliyuncs.com/compatible-mode/v1)# 2. 调用模型responseclient.chat.completions.create(modelqwen3-max,messages[{role:system,content:你是一个Python编程专家并且不说废话简单回答},{role:assistant,content:好的我是编程专家并且话不多你要问什么},{role:user,content:输出1-10的数字使用python代码}])# 3. 处理结果print(response.choices[0].message.content)3、RAG通用的基础大模型存在一些问题LLM大模型语言的知识不是实时的模型训练好后不具备自动更新知识的能力会导致部分信息滞后LLM大模型语言领域知识是缺乏的大模型的知识来源于训练数据这些数据主要来自公开的互联网和开内部知识幻觉问题LLM大模型语言有时会在回答中生成看似合理但实际上是错误的信息数据安全RAGRetrieval-Augmented Generation即检索增强生成为大模型提供了从特定数据源检索到的信息以此来修正和补充生成的答案。可以总结为一个公式RAG 检索技术 LLM 提示RAG 标准流程RAG 标准流程由索引Indexing、检索Retriever和生成Generation三个核心阶段组成。索引阶段通过处理多种来源多种格式的文档提取其中文本将其切分为标准长度的文本块chunk并进行嵌入向量化embedding向量存储在向量数据库vector database中。加载文件内容提取文本分割形成chunk文本向量化存向量数据库检索阶段用户输入的查询query被转化为向量表示通过相似度匹配从向量数据库中检索出最相关的文本块。query向量化在文本向量中匹配出与问句向量相似的top_k个生成阶段检索到的相关文本与原始查询共同构成提示词Prompt输入大语言模型LLM生成精确且具备上下文关联的回答。匹配出的文本作为上下文和问题一起添加到prompt中提交给LLM生成答案RAG的核心价值解决知识时效性问题大模型的训练数据有截止时间RAG 可以接入最新文档如公司财报、政策文件让模型输出“与时俱进”。降低模型幻觉模型的回答基于检索到的事实性资料而非纯靠自身记忆大幅减少编造信息的概率。无需重新训练模型相比微调Fine-tuningRAG 只需更新知识库成本更低、效率更高。4、LangChainLangChain模型组件提供了与各种模型的集成并为所有模型提供一个精简的统一接口。LangChain目前支持三种类型的模型LLMs大语言模型、Chat Models聊天模型、Embeddings Models嵌入模型。LLMs是技术范畴的统称指基于大参数量、海量文本训练的 Transformer 架构模型核心能力是理解和生成自然语言主要服务于文本生成场景聊天模型是应用范畴的细分是专为对话场景优化的 LLMs核心能力是模拟人类对话的轮次交互主要服务于聊天场景文本嵌入模型文本嵌入模型接收文本作为输入得到文本的向量。LangChain支持的三类模型它们的使用场景不同输入和输出不同开发者需要根据项目需要选择相应。