初识 Embedding，为何大家都基于它搭建私人智能客服？

随着 AI 技术的发展，大家在日常使用过程中经常会碰到一些目前 GPT4 也无法解决的问题：

• 无法获取个人私有数据信息，进行智能问答
• 无法获取最新信息，LLM 模型训练都是都是有截止日期的
• 无法定制化私有的专属模型，从而在某个领域内取得更好效果

基于以上问题 OpenAI 官方提供了两种不同私有化模型定制方式：Fine-Tuning（微调）、Embedding（嵌入）。

一、Fine-Tuning 与 Embedding 区别

两种方式信息概括如下：

• Fine-Tuning（微调）：在一个已经预训练好的模型的基础上，使用用户提供的数据进行进一步的训练，从而使模型更适合用户的特定应用场景。微调可以提高模型的质量、准确性和可靠性，以及降低请求的延迟和代价。微调需要用户准备和上传训练数据，以及选择合适的模型和参数。
• Embedding（嵌入）：指将文本或其他内容转换为数值向量的形式，从而可以计算内容之间的相似度或相关性。OpenAI 的 Embedding 模型可以将文本解析为 1536 个维度，每个维度代表一个概念或特征。用户可以通过 Embedding 模型来存储、检索或比较文本或其他内容。Embedding 不需要用户提供训练数据，也不需要选择模型和参数。

Fine-Tuning 微调训练的成本较高，且自身需要一定的模型训练经验和一定规模的数据集，否则微调出来的模型效果并不会很理想。所以更推崇使用 Embedding 方式对数据进行处理从而达到预期效果，比如目前市面上智能客服完全可以通过 Embedding 实现落地。

二、Embedding 详细分析

接下来我们就来重点聊聊 Embedding ，它的大致流程是：

1. 将已有数据集维护成对应的向量数据库
2. 当用户通过 Prompt 进行提问时，从向量数据库提取相似或相近的信息
3. 将信息连同 Prompt 一起发送给 GPT 模型来生成结果

这样做有一个好处就是我们只需要将相关的数据发送给 ChatGPT 即可，相对比较节约 Token。

Embedding 将数据转成成连续向量空间的过程，我们并不需要去深入了解。所以我们从 Embedding 如何识别相似或关联性数据讲起。

1. 如何从向量数据库提取相关数据?

从上面的概述我们可以了解到一个重点是：Embedding 模型需要将数据解析为 1536 个维度，每个维度代表一个概念或特征。

将一段文字转换成这么多个维度的数据，从向量数据库提取的过程中就是根据这些维度进行计算。

人类是如何辨别一个人，想象自己平时是如何认出谁是谁呢？我们都是通过外表容貌来认人的（如眼睛大小、鼻子大小、脸型、发型等等），对我们熟悉的人，我们的脑海中会记住他的五官、身材等关键信息。

映射到向量数据也是一样的道理，将数据的 1536 个维度认为是它的“五官”，当我们需要从向量数据库中提取数据时只需要找到“五官”相似的数据即可。

以如上二维坐标进行举例，相似或有关联性的向量数据就会分布在坐标系中比较临近的位置（奥运会、亚运会、残奥会），而内容基本不相干的向量数据（北京地铁）在坐标系中就会离得比较远。

2. 使用 OpenAI 生成向量数据

通过 OpenAI 官网我们也可以看到，价格还是比较便宜的。使用量按每个输入令牌定价，收费为每1000个 tokens 大约0.0004美元。

通过 OpenAI 的 Embedding 方法调用，看看返回数据啥样。

接口返回了该文本对应的 1536 个维度数据，相当于我们已经掌握了这份文本数据的“五官”信息了。

3. 如何提取相似数据？

在上面的方法上使用余弦值来比较相似度，代码如下：

import openai
from sklearn.metrics.pairwise import cosine_similarityopenai.api_key = "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"if __name__ == '__main__':evaluate_one_text = "奥运会"    evaluate_two_text = "亚运会"    evaluate_three_text = "北京地铁"    # 对数据进行 embedding    embeddings = openai.Embedding.create(    model="text-embedding-ada-002",        input=[evaluate_one_text, evaluate_two_text, evaluate_three_text],    )    evaluate_one = embeddings["data"][0]["embedding"]    evaluate_two = embeddings["data"][1]["embedding"]    evaluate_three = embeddings["data"][2]["embedding"]    print("奥运会&亚运会的余弦距离：" + format(cosine_similarity([evaluate_one], [evaluate_two])[0][0]))    print("奥运会&北京地铁的余弦距离：" + format(cosine_similarity([evaluate_one], [evaluate_three])[0][0]))    print("北京地铁&亚运会的余弦距离：" + format(cosine_similarity([evaluate_three], [evaluate_two])[0][0]))

结果如下：

奥运会&亚运会的余弦距离：0.9022809359592784
奥运会&北京地铁的余弦距离：0.7898007980212471
北京地铁&亚运会的余弦距离：0.7767229785942393

计算两个数据的相似度，我们可以使用余弦相似度（cosine similarity）的方法，即计算两个向量之间的夹角的余弦值。余弦相似度的范围是[-1, 1]，其中 1 表示完全相同，0表示正向相关性，-1表示完全相反。

通过这样一个简单的案例，我们就可以知道 OpenAI 是如何从向量数据库中提取到相似或相关联的数据。

结尾

本文主要讲解了 Embedding 的一些基本概念，后续会更新如何基于 Embedding 转换私人数据搭建私人客服。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】