复旦AI博士，分享AI领域全维度知识与研究。应极客时间邀请开设《RAG快速开发实战》课程，感兴趣的同学可以访问关注 https://time.geekbang.com/column/intro/100804101
随着 AI 2.0 时代的来临，我们正站在一个技术革新和行业变革的交汇点。大语言模型虽然在多个领域取得了突破，但在特定领域的应用仍面临挑战。而 RAG 技术以其独特的能力，通过整合外部知识库与文档，显著提升了模型的专业性能和回答精度，成为大模型应用的重要技术方向。掌握 RAG 技术，已成为拥抱 AI 时代的必然选择。
为了帮助开发者们抓住这一时代机遇，我在极客时间《RAG快速开发实战》分享自己在 RAG 项目中的深刻见解和实战经验，带你从 0 开始，逐步构建起自己的 RAG 产品，完成从技术实现到产品优化的全面提升。
课程将从 RAG 技术的场景与原理出发，通过系统化的实战教学，让你快速掌握 RAG 技术栈。课程内容涵盖基础的索引构建、 Embedding 嵌入、向量库、向量检索、大模型生成、精度优化与评估，以及 RAG 技术的进阶应用，如 Advanced RAG、Modular RAG 和微软 GraphRAG 等前沿探索。每个阶段都配有丰富的代码实战和案例分析，确保你能够学以致用，逐步构建起完整的 RAG 技术知识体系，成长为 AI 2.0 时代的高级人才。
课程：
一、引言
随着人工智能技术的不断演进，我们正处在一个由AI 1.0向AI 2.0转型的关键节点。AI 1.0时代，人工智能的应用主要集中在规则驱动的系统和基于大数据的模式识别上。尽管这些技术在各个领域取得了显著进展，但它们在应对复杂任务、处理长尾问题和实现真正的智能交互方面仍然存在局限。
进入AI 2.0时代，人工智能不仅仅是简单的自动化和模式匹配，而是朝着更加智能和具有推理能力的方向发展。在这一背景下，Retrieval-Augmented Generation（RAG）技术应运而生，成为了AI 2.0时代的“杀手级”应用。RAG通过将检索与生成相结合，突破了传统生成模型在知识覆盖和回答准确性上的瓶颈，能够在更广泛的场景中提供更具上下文关联性和个性化的内容生成服务。
引入RAG的核心驱动力在于其解决了生成模型在知识局限性和训练成本上的双重挑战。传统的生成模型依赖于大规模的预训练数据来生成文本，但在面对长尾知识和实时更新的信息时，这些模型往往表现不佳。而RAG通过结合检索模块，能够从外部知识库中获取实时相关的信息，从而增强生成内容的准确性和多样性。这种检索与生成的结合，不仅提高了模型的响应能力，还显著降低了大规模训练的需求，使得AI 2.0在更多场景下具有可扩展性和实际应用价值。
二、什么是RAG（Retrieval-Augmented Generation）？
Retrieval-Augmented Generation（RAG）是一种创新的生成式人工智能技术，它将信息检索与文本生成两个传统独立的模块有机结合，突破了单一生成模型在知识覆盖范围、信息准确性和生成质量上的局限性。RAG的基本思想是通过检索相关外部知识增强生成模型的内容，从而提高其在应对复杂问题和长尾知识时的表现。
2.1 RAG的基本定义
RAG是一种生成式模型的增强框架，核心在于将向量检索（Vector Retrieval）与生成模型（Generation Model）结合。具体而言，在RAG中，生成过程不仅依赖于模型的内在知识（通过预训练获得），还从外部大规模文本库中实时检索相关信息。这种架构使得模型在生成答案时能够利用最新、最相关的知识，而不仅仅依赖于训练时的静态数据。
2.2 RAG的技术框架
RAG的技术框架由两个主要模块构成：检索模块（Retriever）和生成模块（Generator）。这两个模块协同工作，依次完成检索相关信息和生成回答的任务。
2.2.1 检索模块
检索模块的任务是从外部知识库中查找与输入查询最相关的文本片段。该模块通常依赖于向量检索技术，将查询转换为向量表示，然后与知识库中的向量进行比对，从而找到最相似的内容。向量检索的优势在于其能够处理语义层面的相似性，而不仅仅是字面匹配，这使得RAG能够从语义上理解查询并返回高度相关的结果。
- 向量化表示：检索模块使用深度学习模型（如BERT、DPR）将查询和文档转换为高维向量表示，捕捉其中的语义信息。
- 相似度计算：通过余弦相似度或其他距离度量方法，检索模块在嵌入空间中找到与查询最相似的文档向量。
- 多样化检索：为了提高生成的多样性，检索模块通常会返回多个相关文档，供生成模块选择或参考。
2.2.2 生成模块
生成模块负责在检索模块返回的上下文基础上生成最终的文本答案。生成模块通常使用预训练的大型语言模型（如GPT、T5），这些模型能够根据输入的上下文进行文本生成。与传统生成模型不同的是，RAG的生成模块会综合利用检索到的信息，增强回答的准确性和上下文关联性。
- 上下文融合：生成模块将检索到的文档作为上下文信息，与原始查询一起输入到生成模型中。通过这种方式，模型能够利用外部知识生成更为丰富和相关的回答。
- 内容生成：生成模块通过基于上下文的推理和语言模型的生成能力，输出连贯且逻辑一致的文本内容。
- 生成优化：为了避免内容重复或不相关生成，生成模块可能会使用机制（如Beam Search、Top-k Sampling）来优化生成结果的质量。
2.3 RAG与传统生成模型的区别
RAG与传统生成模型的主要区别在于其信息获取方式的多样性和实时性。传统的生成模型在生成内容时，仅依赖于模型内的预训练知识，因此在面对未见过的知识或实时信息时往往显得捉襟见肘。RAG则通过实时检索相关信息，打破了这一局限，为模型提供了一个更为动态和灵活的信息源。
- 知识覆盖：RAG通过外部检索可以大幅扩展生成模型的知识覆盖范围，使其能够应对更多长尾知识和领域特定问题。
- 信息准确性：通过从最新的数据源中检索信息，RAG生成的内容在时效性和准确性上更具优势。
- 生成质量：结合外部信息源，RAG能够生成更具上下文关联性和逻辑一致性的内容，减少了传统生成模型中出现的模糊或不准确的回答。
2.4 RAG的应用场景
RAG的优势使其在多个实际应用场景中表现出色，特别是在那些需要精确知识和上下文敏感生成的任务中，如智能问答系统、对话机器人、实时信息查询等。通过结合检索和生成的能力，RAG不仅可以提供更为精准的答案，还能够大幅提升用户体验。
三、RAG索引流程解析
RAG（Retrieval-Augmented Generation）的核心在于将信息检索与文本生成无缝集成，以实现动态、上下文相关的内容生成。在这一过程中，索引流程（Indexing Process）扮演着关键角色。索引流程不仅影响到检索效率，还决定了检索内容的质量和生成结果的准确性。理解RAG的索引流程对于掌握这一技术的运作机制和优化方法至关重要。
3.1 索引流程的基本概念
索引流程指的是将大量未结构化文本数据转换为高效可检索的向量表示的过程。在RAG中，索引流程通过构建一个向量数据库，使得外部知识库中的文档能够快速、准确地被检索和利用。索引流程主要包括文本预处理、向量化表示、向量索引构建和存储四个阶段，每个阶段都对最终的检索和生成结果有直接影响。
3.2 文本预处理
文本预处理是索引流程的第一步，旨在将原始文本数据转换为适合向量化处理的格式。预处理的质量直接影响到后续的向量表示和检索效果。
- 文本清理：清理步骤包括去除噪音（如标点符号、HTML标签）、分词、去停用词等，以确保文本内容的纯净性。
- 规范化处理：文本规范化通常包括词形还原、拼写校正和统一格式转换等，确保不同来源的文本具有一致性。
- 分块处理：为了提高检索的精度和效率，文本通常会被分成多个较小的块（chunks）。这些块可以根据句子、段落或固定长度进行划分，从而确保每个块都具有较强的上下文相关性。
3.3 向量化表示
向量化表示是索引流程的核心步骤，它将文本块转换为高维向量，以捕捉文本的语义信息。这一过程通常依赖于预训练的深度学习模型（如BERT、DPR），这些模型能够将文本表示为语义丰富的向量。
- 模型选择：选择合适的模型对向量化表示至关重要。BERT模型擅长捕捉上下文语义，而DPR模型则在问答任务中表现出色。根据应用场景的不同，可以选择不同的模型进行向量化处理。
- 向量生成：通过将文本块输入到预训练模型中，生成对应的向量表示。向量的维度通常较高（如768维或1024维），能够表达丰富的语义信息。
- 向量归一化：为了确保向量间距离的计算一致性，生成的向量通常会进行归一化处理。归一化后的向量在高维空间中更具可比性，有助于提高检索的精度。
3.4 向量索引构建
向量索引构建是索引流程中的关键步骤，它决定了向量的存储方式和检索效率。一个高效的向量索引能够在大规模数据集上快速定位与查询相关的向量，从而提升RAG的响应速度。
- 索引结构选择：常用的向量索引结构包括倒排索引（Inverted Index）、平衡树（Balanced Trees）、哈希表（Hash Tables）等。在RAG中，基于近似最近邻搜索（Approximate Nearest Neighbor, ANN）的索引结构，如Faiss、HNSW，因其在高维空间中的高效性而广泛使用。
- 索引构建：构建索引的过程包括将向量按照一定的算法进行组织和排序，以便快速查找。在构建过程中，可能需要对向量进行聚类或分层处理，以优化检索性能。
- 索引压缩：为了降低存储成本和提高检索效率，向量索引通常会进行压缩处理。常见的压缩方法包括量化（Quantization）、降维（Dimensionality Reduction）等。
3.5 向量存储与检索
向量存储是索引流程的最后一步，它决定了向量的持久性和可用性。在RAG的运行过程中，检索模块通过查询向量与存储的向量进行匹配，从而找到最相关的文本块。
- 向量数据库选择：向量数据库（如Chroma、Milvus）用于存储和管理向量索引。一个优秀的向量数据库需要具备高效的读写性能、强大的扩展性和稳定的持久化机制。
- 检索策略：检索策略包括确定查询向量的相似性度量（如余弦相似度、内积）以及检索过程中使用的加速算法（如ANN）。这些策略直接影响到检索结果的准确性和速度。
- 多模检索：在某些复杂场景中，RAG可能会结合多种检索方式，如向量检索和关键词检索并行执行，以确保覆盖更广的知识范围和更精准的结果。
3.6 索引流程的优化策略
为了提升RAG的性能和生成质量，索引流程需要不断优化。常见的优化策略包括调整分块策略、改进向量化模型、优化索引结构和提升数据库性能。
- 分块策略优化：根据不同的应用场景，动态调整文本分块的大小和规则，以平衡检索精度和生成质量。
- 模型优化：定期更新和微调向量化模型，以适应新的数据和任务需求，确保生成的向量表示始终保持高质量。
- 索引结构优化：根据数据规模和应用需求，调整索引的层次结构和压缩算法，提升检索效率。
- 数据库性能优化：通过缓存机制、分片存储等手段，提升向量数据库的读写性能和响应速度。
四、RAG检索流程解析
RAG（Retrieval-Augmented Generation）的独特之处在于其通过检索外部知识来增强生成内容的准确性和丰富性。在RAG的工作流中，检索流程（Retrieval Process）是连接查询输入与最终内容生成的关键环节。该流程的有效性直接影响到模型生成的回答质量和与用户需求的匹配程度。理解RAG的检索流程不仅有助于提升系统性能，还能为特定应用场景中的优化提供指导。
4.1 检索流程的基本概念
检索流程是指在接收到用户的查询后，系统从预构建的向量索引或数据库中查找与查询最相关的文档片段的过程。该过程通常涉及查询的向量化、相似性计算、候选文档选择、以及上下文融合等多个步骤。通过检索，RAG能够在广泛的知识库中找到最相关的信息，从而为生成模块提供高质量的输入。
4.2 查询向量化
检索流程的第一步是将用户的查询转换为适合与知识库进行匹配的向量表示。这个步骤至关重要，因为向量化的质量决定了后续检索结果的相关性。
- 查询理解：为了准确捕捉查询的语义，系统会先对查询进行自然语言处理（NLP），包括分词、词性标注、实体识别等操作。这样可以确保查询向量能更好地表达用户的真实意图。
- 向量化模型：与索引流程中使用的向量化模型类似，查询的向量化通常使用BERT、DPR等预训练模型。这些模型能够根据查询的上下文生成语义丰富的向量表示。
- 向量归一化：为了确保向量间距离计算的准确性，查询向量通常会经过归一化处理。这一过程能够提升相似性计算的稳定性，避免因向量尺度不一致而引入的误差。
4.3 相似性计算
在查询向量生成之后，系统需要计算该向量与知识库中所有文档向量之间的相似度。相似性计算是检索流程的核心环节，它决定了哪些文档会被选为候选信息。
- 相似性度量：常用的相似性度量方法包括余弦相似度（Cosine Similarity）、内积（Dot Product）和欧氏距离（Euclidean Distance）等。RAG系统通常采用余弦相似度，因为它能有效衡量向量在高维空间中的角度差异，从而捕捉语义相似性。
- 向量索引搜索：为了提升计算效率，RAG通常会采用近似最近邻搜索（ANN）算法，如Faiss、HNSW等。这些算法能够在大规模数据集上快速找到与查询向量最接近的几个文档向量。
- 召回与过滤：在实际应用中，为了保证检索结果的多样性和准确性，系统可能会先召回一批相似度较高的文档向量，然后进行进一步的过滤和排序，以剔除冗余信息并确保高质量的候选文档集。
4.4 候选文档选择
相似性计算完成后，系统会从计算结果中选择一组最相关的文档片段作为候选。这一步骤对生成模块的输入质量至关重要。
- 多文档融合：通常，系统会选择多个（例如5到10个）最相关的文档片段进行融合。通过结合多个相关文档，RAG能够在生成过程中引入更丰富的信息，提高回答的全面性和准确性。
- 上下文关联性：候选文档的选择不仅基于相似性，还会考虑文档内容与查询的上下文关联性。系统会优先选择那些能够直接回答查询或为生成提供关键信息的文档片段。
- 置信度评估：在一些实现中，系统会对每个候选文档进行置信度评估，确保最终用于生成的文档片段具有较高的可信度和信息价值。这可以通过设定相似度阈值或引入额外的评分机制实现。
4.5 上下文融合
在选定候选文档后，系统需要将这些文档片段与原始查询进行上下文融合。这一步骤旨在为生成模块提供一个包含了所有相关信息的完整上下文。
- 上下文扩展：通过将查询与候选文档片段拼接，系统能够创建一个上下文扩展的输入序列。这一序列包含了查询和相关信息的整合，确保生成模块能够理解整个上下文并做出合理的生成。
- 信息优先级排序：在上下文融合过程中，系统可能会根据候选文档的重要性对信息进行排序，确保最相关的信息被优先考虑。这一排序可以基于文档片段的相似度评分或置信度进行。
- 长度控制：由于生成模型的输入长度通常有限，系统需要对上下文进行长度控制，确保输入不超出模型的处理能力。通常的做法是截断较不重要的信息片段，同时保留关键内容。
4.6 检索流程的优化策略
为了提升RAG的整体性能，检索流程需要不断优化。这些优化策略包括但不限于提高相似性计算的效率、改进候选文档选择的策略、以及优化上下文融合的方法。
- 多模态检索：结合多模态数据（如图像、音频）进行检索，可以扩展RAG的应用范围，并提升在复杂场景中的表现。
- 实时更新与动态索引：为了确保检索内容的时效性，RAG系统可以定期更新知识库，并在索引构建和检索过程中引入动态调整机制。
- 个性化检索：通过引入用户偏好和历史行为数据，系统可以实现个性化的检索流程，提供更符合用户需求的生成内容。
五、RAG生成流程解析
在RAG（Retrieval-Augmented Generation）架构中，生成流程是决定最终内容输出质量的关键环节。生成流程的任务是基于检索模块提供的候选文档和原始查询，生成连贯、准确且具有上下文关联性的文本内容。RAG的生成流程不仅依赖于深度学习模型的强大生成能力，还依托于先前步骤中检索到的高相关性文档，确保生成的内容既符合用户需求，又能够融入实时获取的知识。
5.1 生成流程的基本概念
生成流程指的是RAG系统接收检索到的候选文档及用户查询后，通过生成模型生成最终文本内容的过程。在这个过程中，生成模型利用预训练的语言模型，结合检索到的外部信息，为用户提供语义丰富且上下文相关的答案。生成流程的核心在于如何有效利用检索信息来增强生成内容的质量，并保证生成的文本在逻辑上连贯且信息准确。
5.2 输入序列构建
生成流程的第一步是构建输入序列，它是生成模型生成内容的基础。这个输入序列通常包括原始查询和检索到的候选文档片段。
- 查询与候选文档拼接：生成流程中，原始查询和候选文档片段通常被拼接成一个输入序列。拼接方式包括简单的连接，或基于特定格式（如使用分隔符）。这种方式确保生成模型能够同时关注到用户的问题和相关的背景信息。
- 信息顺序与优先级：在构建输入序列时，信息的顺序和优先级至关重要。通常，原始查询会放在输入序列的最前面，以引导生成模型的关注点，而候选文档片段则按相关性排序，紧随其后。这种排列方式有助于生成模型在生成时首先考虑到用户的需求，同时能够充分利用相关信息进行推理。
- 上下文长度控制：由于生成模型的输入长度通常有限，构建输入序列时需要控制其长度。常见的做法是优先保留最相关的文档片段，必要时对过长的内容进行截断或摘要处理，以确保输入内容的紧凑性和相关性。
5.3 生成模型的工作机制
生成流程的核心是生成模型（如GPT、T5等），它基于输入序列生成最终的文本内容。生成模型的工作机制决定了生成结果的语义连贯性、准确性和创新性。
- 生成模型的架构：RAG通常采用预训练的Transformer架构生成模型，这类模型在自然语言生成任务中表现出色。Transformer通过自注意力机制（Self-Attention）对输入序列中的每个部分进行全局建模，从而生成具有全局一致性的文本输出。
- 上下文依赖性：生成模型通过关注输入序列中的上下文信息，能够生成与用户查询高度相关的内容。这种上下文依赖性确保了生成的内容不仅回答了用户的问题，还能够结合检索到的外部信息进行深度推理和补充。
- 生成策略：生成模型的输出可以通过多种策略控制，如贪心搜索（Greedy Search）、束搜索（Beam Search）、Top-k采样和温度调节等。这些策略影响生成结果的多样性和连贯性。例如，束搜索通过同时探索多个生成路径，能够找到全局最优的生成序列，而Top-k采样则可以通过随机性引入生成内容的多样性。
5.4 文本生成的质量控制
生成流程中的质量控制至关重要，它决定了最终生成内容的可读性、准确性和上下文一致性。
- 一致性检查：生成过程中需要进行一致性检查，确保生成的内容在逻辑上自洽且与输入序列一致。这通常通过对生成内容进行语义校验和逻辑一致性检测来实现，确保生成的文本能够准确反映输入的意图。
- 重复性处理：为了避免生成内容中的重复现象，生成模型在生成过程中会对输出进行重复性检测与处理。例如，可以通过在生成时引入抑制机制，降低重复生成相同片段的概率。
- 知识融合：生成过程中需要对检索到的信息进行有效的融合，确保外部知识与生成文本自然融合，形成一个连贯且信息丰富的输出。这要求生成模型不仅要简单地将外部信息拼接在一起，还需要对其进行语义上的整合，使之与上下文协调一致。
5.5 生成后处理
生成后处理是生成流程的最后一步，涉及对生成文本的最终修饰与优化，确保其满足应用场景的需求。
- 语法与风格校正：生成文本可能会在语法或风格上出现问题，因此需要通过后处理步骤进行修正。这可以通过规则校验、语言模型校正等手段实现，确保生成文本的可读性和专业性。
- 内容审查与过滤：生成后的内容需要经过审查和过滤，特别是在敏感领域的应用中。这一步骤确保生成的内容符合道德规范，并避免出现不恰当或有害的信息。
- 格式化与输出：在生成内容通过审查后，系统会对其进行格式化处理，确保输出的文本符合用户预期的展示格式。这可能包括段落划分、标点校对、关键信息加粗等操作。
5.6 生成流程的优化策略
生成流程的优化是RAG系统持续提升性能和生成质量的重要途径。以下是一些常见的优化策略：
- 模型微调：根据特定应用场景对生成模型进行微调，可以提升其在特定领域或任务上的生成质量。通过微调，生成模型能够更好地理解用户查询的意图，并生成更加符合上下文的信息。
- 多模态融合：在生成流程中引入多模态数据（如图像、音频）进行融合，可以增强生成内容的多样性和准确性。例如，在文本生成过程中参考相关图像的内容，有助于生成更具视觉关联性的描述。
- 交互式生成：引入用户反馈机制，使得生成流程能够根据用户的实时反馈进行调整和优化，提升生成结果的满意度和相关性。这种交互式生成方式尤其适用于对话系统和智能客服场景。