1. 背景
本文讨论了大规模AI模型在多模态语义通信（SC）系统中的应用，处理不同类型的数据（文本、音频、图像、视频）以实现低延迟、高质量的语义层次通信。提出了一个基于大模型的多模态SC（LAM-MSC）框架，旨在解决数据异质性、语义歧义以及信号传输失真等挑战。该框架通过多模态对齐、个性化知识库和生成式信道估计，提升了通信性能。
多模态SC系统面临的主要挑战包括：
- 数据异质性：需要同时处理文本、图像和视频等不同类型的数据，这些数据可能涉及复杂的任务，如机器翻译、图像识别和视频分析。
- 语义歧义：由于通信双方的知识背景不同，可能会导致对语义信息的理解不一致，从而产生歧义。
- 信号失真：无线信道由于环境因素会导致信号失真，使得传输语义信息变得困难。
大规模AI模型（如多模态语言模型（MLM）和大语言模型（LLM））具有以下优势：
- 准确的语义提取：通过亿万参数的模型，可以从输入数据中提取高质量的语义信息。
- 丰富的背景知识：模型通过大规模数据集（如ImageNet、Audioset、维基百科等）训练，具备强大的领域知识。
- 强大的语义解释能力：在处理噪声或复杂语境时，能够保持语义信息的准确传达。
本论文通过CoDi模型将多模态数据转换为文本格式，确保语义一致性和传输效率。同时，使用GPT-4和个性化提示库，根据个体信息进行个性化语义提取。利用条件生成对抗网络（CGAN）估计无线信道状态，增强数据传输的可靠性。
2. 系统框架
LAM-MSC框架集成了大规模AI模型，用于增强多模态SC的各个方面。其主要组件包括：
- 多模态对齐（MMA）：将多模态数据（如图像、音频）转换为文本，保持语义一致。
- 知识库（LKB）：通过GPT-4和个性化提示库，进行个性化语义提取。
- 信道估计（CGE）：估计无线信道状态，减少信号失真。
3. 仿真结果
该框架使用不同的数据集进行测试（如VOC2012用于图像，LibriSpeech用于音频，UCF101用于视频），通过BERT和余弦相似度评估语义传输的准确性。结果表明，加入个性化知识库后，语义传输的准确性显著提高。
本文提出的LAM-MSC框架通过解决语义一致性、个性化以及信道失真等问题，显著提升了多模态SC系统的性能。仿真结果表明，与现有的单模态解决方案相比，该框架在准确性和数据压缩效率方面具有显著优势。