在上一节中，我们将每个单词转换为一个表示数字的标记（token）。现在，我们需要将这个数字映射到一个向量上，这个向量称为嵌入（embedding）。在深度学习中，所有无法通过传统数据结构描述的对象都会被用一个向量表示，例如图像、语音、单词、音频等。最初，向量中的各个字段会被初始化为随机数，然后通过大量的数据和深度学习模型来训练这些向量。训练过程逐步改变向量字段的值，从而使这些字段包含某种“知识”。例如，模型在学习如何将人脸图像与向量关联后，可以通过向模型输入一个向量，输出一张包含人脸的图像。
让我们通过以下示例来模拟这个过程。假设我们有一个包含6个单词的词汇表（vocab），如果想使用长度为3的向量（当然你可以决定向量的长度，通常长度越长越好，但需要更多的数据和时间来训练向量）。以下是使用 torch 初始化6个标记的随机向量的代码：
import torch
# 设置随机种子以生成向量的随机值
torch.manual_seed(321)
vocab_size = 6 # 6个标记
output_dim = 3 # 每个标记映射到长度为3的向量
embedding_layer = torch.nn.Embedding(vocab_size, output_dim)
print(embedding_layer.weights)运行上述代码将得到以下输出
Parameter containing:
tensor([[-0.1302, 0.4343, -0.4491],[-1.0824, 2.5830, -0.3784],[-0.6681, -0.4460, -0.4942],[-1.0153, 0.9791, 1.5577],[-0.3924, 0.4283, 0.6376],[-0.5494, 0.7509, 1.7671]], requires_grad=