RAG 开发四大痛点及解决方案，看到就是赚到！！

痛点1知识缺失知识库缺乏必要的上下文信息导致 RAG 系统在无法找到确切答案时可能会提供模棱两可的错误信息而不是直接表明其无知。这种情况下用户可能会接收到误导性的信息从而感到沮丧。针对这一问题有以下两种解决方案解决方案一优化数据质量“垃圾输入垃圾输出。” 若源数据质量不佳比如存在相互矛盾的信息即便是再完美的 RAG 流程也无法从劣质数据中提炼出有价值的知识。以下提出的解决方案不仅能解决这一难题还能应对本文中提到的其他问题。高质量的数据是确保 RAG 流程顺畅运行的关键。以下是一些常见的数据优化策略1. 清除噪音和无关信息包括移除特殊字符、停用词比如“the”和“a”等常见词汇以及 HTML 标签。2. 识别并修正错误涉及拼写错误、打字错误和语法错误。拼写检查工具和语言模型等资源对此很有帮助。3. 去除重复数据消除可能干扰检索过程的重复或相似记录。解决方案二优化提示词设计由于知识库信息不足系统可能会提供看似合理却错误的答案。在这种情况下优化提示词可以显著提升系统表现。通过使用“若你不确定答案请表明你不知道”等提示词可以引导大模型承认其局限并更清晰地表达不确定性。虽然这不能确保答案的绝对正确性但在数据优化之后设计恰当的提示词是提高系统透明度的有效手段之一。痛点2更相关的知识没有检索出来在初步检索阶段知识未能被检索出来。关键的文档可能没有在检索组件给出的初步结果中导致正确答案被遗漏大模型因此无法提供精确的响应。研究指出“问题的答案其实就藏在文档里只是因为它排名不够高所以没有被呈现给用户。”针对这一问题有以下两种解决方案解决方案一调整 chunk_size 和 similarity_top_k 超参数在 RAG 模型中chunk_size 和 similarity_top_k 是控制数据检索效率和准确性的两个关键参数。对这些参数的调整会影响到计算效率和信息检索质量之间的平衡。解决方案二Rerank 重排序在将检索结果传递给大语言模型LLM之前对其进行重新排序可以显著增强 RAG 系统的性能。LlamaIndex 的笔记揭示了有无重新排序的差别未经重新排序直接获取前两个节点的检索结果导致结果不够精确。相比之下检索前 10 个节点并利用 CohereRerank 进行重排序然后仅返回前两个节点可以实现更精确的检索。importosfromllama _ index.postprocessor.cohere _ rerankimportCohereRerank api _ keyos.environ[COHERE _ API _ KEY]cohere _ rerankCohereRerank(api _ keyapi _ key,top _ n2)# return top 2 nodes from rerankerquery _ engineindex.as_ query _ engine(similarity _ top _ k10,# we can set a high top _ k here to ensure maximum relevant retrievalnode _ postprocessors[cohere _ rerank],# pass the reranker to node _ postprocessors)responsequery _ engine.query(What did Sam Altman do in this essay?,)痛点3格式错误输出格式不正确。当大语言模型LLM未能遵循以特定格式比如表格或列表提取信息的指令时我们提出了以下四种解决方案解决方案一优化提示词设计为了改善提示词并解决这一问题可以采取以下几种策略明确指出格式要求。简化指令并突出关键术语。提供具体示例。对提示词进行迭代并追加相关问题。解决方案二输出解析方法输出解析可以用于以下目的以确保获得期望的输出格式为每个提示/查询提供格式化指南。对LLM的输出进行“解析”处理。以下是一个使用 LangChain 输出解析模块的示例代码片段该模块可在LlamaIndex 中应用。fromllama _ index.coreimportVectorStoreIndex,SimpleDirectoryReaderfromllama _ index.core.output _ parsersimportLangchainOutputParserfromllama _ index.llms.openaiimportOpenAIfromlangchain.output _ parsersimportStructuredOutputParser,ResponseSchema# load documents , build indexdocumentsSimpleDirectoryReader( .. /paul _ graham _ essay/data).load _ data()indexVectorStoreIndex.from_ documents(documents)# define output schemaresponse _ schemas[ResponseSchema(nameEducation,descriptionDescribes the authors educational experience/background.,),ResponseSchema(nameWork,descriptionDescribes the authors work experience/background.,),]# define output parserlc _ output _ parserStructuredOutputParser.from_ response _ schemas(response _ schemas)output _ parserLangchainOutputParser(lc _ output _ parser)# Attach output parser to LLMllmOpenAI(output _ parseroutput _ parser)# obtain a structured responsequery _ engineindex.as_ query _ engine(llmllm)responsequery _ engine.query(What are a few things the author did growing up?,)print(str(response))解决方案三Pydantic 程序Pydantic 程序是一个多功能的框架它能够将输入的字符串转换成结构化的 Pydantic 对象。LlamaIndex 提供了几种不同类型的 Pydantic 程序LLM 文本补全 Pydantic 程序这类程序负责处理输入的文本并将其转换成用户自定义的结构化对象这个过程结合了文本补全 API 和输出解析。LLM 函数调用 Pydantic 程序这些程序通过使用 LLM 函数调用 API 来处理输入文本并将其转换成用户指定的结构化对象。预制 Pydantic 程序这些程序设计用于将输入文本转换成预定义的结构化对象。以下是一个使用 OpenAI 的 Pydantic 程序的示例代码片段frompydanticimportBaseModelfromtypingimportListfromllama _ index.program.openaiimportOpenAIPydanticProgram# Define output schema ( without docstring )classSong(BaseModel):title:strlength _ seconds:intclassAlbum(BaseModel):name:strartist:strsongs:List[Song]# Define openai pydantic programprompt _ template _str\ Generate an example album , with an artist and a list of songs.\ Using the movie { movie _ name } as inspiration.\ programOpenAIPydanticProgram.from_ defaults(output _ clsAlbum,prompt _ template _strprompt _ template _str,verboseTrue)# Run program to get structured outputoutputprogram(movie _ nameThe Shining,descriptionData model for an album.)**解决方案四**OpenAI JSON 模式通过OpenAI的 JSON 模式我们可以将response_format设置为{ “type”: “json_object” }从而激活响应的 JSON 模式。当启用 JSON 模式后大模型将被限制仅生成可以解析为有效 JSON 对象的字符串。JSON 模式确保了输出格式的强制性但它并不支持根据特定模式进行验证。痛点4输出不完整回答缺失完整性。虽然部分答复没有错误但它们并未包含所有必要的细节即便这些信息在上下文中是可获取的。比如当有人提问“文档A、B和C中讨论的主要议题是什么”为了确保回答的完整性单独对每份文档进行查询可能更为有效。解决方案一查询变换在最初的 RAG 方法中比较类型的问题表现尤为不佳。提升 RAG 推理能力的一个有效方法是引入查询理解层——在实际将查询向量存入存储之前进行查询变换。以下是四种不同的查询变换方法1. 路由保留原始查询并识别出与之相关的合适工具子集。随后将这些工具指定为合适的选项。2. 查询重写保留选定的工具但以不同方式重新构建查询以便在同一工具集中应用。3. 子问题分解将查询拆分为几个更小的问题每个问题针对不同的工具由其元数据来决定。4. ReAct Agent 工具选择基于原始查询确定使用的工具并制定在该工具上运行的特定查询。请参考以下示例代码片段了解如何应用 HyDE假设文档嵌入这一查询重写技术。给定一个自然语言查询首先生成一个假设文档/答案。接着使用这个假设文档进行嵌入搜索而不是使用原始查询。# load documents , build indexdocumentsSimpleDirectoryReader( .. /paul _ graham _ essay/data).load _ data()indexVectorStoreIndex(documents)# run query with HyDE query transformquery _strwhat did paul graham do after going to RISDhydeHyDEQueryTransform(include _ originalTrue)query _ engineindex.as_ query _ engine()query _ engineTransformQueryEngine(query _ engine,query _ transformhyde)responsequery _ engine.query(query _str)print(response)最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】