4 月 1 日，国家知识产权局公布了一项由 DeepSeek 关联公司杭州深度求索人工智能基础技术研究有限公司申请的专利，名为 “一种广度数据采集的方法及其系统”，公开号为 CN 119739917 A，申请日期可追溯至 2024 年 12 月。此专利的发布，有望为数据采集领域带来显著变革，尤其在提升数据采集效率与质量方面提供新的技术路径。
近年来，随着人工智能技术的飞速发展，特别是在自然语言处理（NLP）领域，大语言模型（LLMs）的训练对高质量、多样化数据集的需求呈爆发式增长。为了构建这样的数据集，需要从网页中采集并处理大量数据，以获取高质量的文本信息作为模型训练的输入。然而，传统的数据采集技术存在诸多痛点。例如，在面对复杂站点时，难以获取完整链接，导致数据遗漏；过量下载的情况时有发生，甚至造成对方网站崩溃；同时，对下载页面缺乏有效的内容质量分析和推断，容易出现重复下载或低质下载，极大地影响了数据采集的效率。
杭州深度求索人工智能基础技术研究有限公司申请的这项专利，正是为了解决上述问题。根据专利摘要，该方法及其系统主要包括以下关键步骤：
- 建立网页元信息库：为整个数据采集流程提供基础信息支撑，便于后续对网页链接的管理和筛选。
- 确定每日调度单元下载配额及当日下载总额度：通过合理设定下载额度，有效控制数据采集的节奏，减少对目标网站的流量冲击，保障网站的正常运行。
- 从网页元信息库中选取相应数量的链接，分配下载额度：基于对网页元信息库的分析，有针对性地选择链接并分配下载资源，实现资源的优化利用。
- 下载过程控制：确保数据下载过程的稳定与安全。
- 下载文本进行后处理及数据清洗后进入回灌队列，通过信息回灌实现网页元信息库更新：对采集到的数据进行清洗和处理，保证数据质量，并通过信息回灌机制，实时更新网页元信息库，使整个系统能够适应不断变化的网页环境。
该专利所带来的有益效果十分显著。首先，它能够发现尽可能多的网页链接，同时减少对网站的流量冲击，确保数据采集过程的稳定性和可持续性。其次，通过对已下载内容的分析，对未下载的链接进行质量推断，并采用择优下载分配额度的方式，有效减少了低质量网页下载和重复下载的情况，极大地提高了数据质量及下载效率，降低了数据采集过程中网络资源的消耗。此外，采用单独的信息回灌队列，保证了网页元信息库修改操作的原子性和稳定性，进一步提升了数据的可靠性。
在当前人工智能技术广泛应用的背景下，数据作为驱动技术发展的核心要素，其采集的效率和质量直接关系到模型训练的效果。杭州深度求索人工智能基础技术研究有限公司的这项专利技术，为解决现有数据采集技术的痛点提供了创新性的解决方案，有望推动整个数据采集领域的技术升级，为大语言模型训练以及其他依赖高质量数据的人工智能应用提供更坚实的数据基础。随着这一专利技术的进一步推广和应用，或许将在人工智能相关行业引发新一轮的数据采集技术变革。