7.数据集处理库Hugging Face Datasets

数据集处理库Hugging Face Datasets

Datasets 首先解决数据来源问题

使用 Datasets 下载开源数据集

Datasets.load_dataset 实现原理简介

构造 DatasetBuilder 类的主要配置 BuilderConfig
如果您想向数据集添加额外的属性，例如类别标签。有两种方法来填充BuilderConfig类或其子类的属性

• 在datasets DatasetBuilder.BUILDER_CONFIGS()属性中提供预定义的BuilderConfig类（或子类）实例列表。
• 当调用load_dataset()时，各参数默认值会直接读取 BuilderConfig 类的预定义值，否则会被覆盖。

实际构造数据集的类 DatasetBuilder