Huggingface加载阅读理解任务数据集至本地

from datasets import load_dataset, load_from_disk
# 加载数据集
datasets = load_dataset("cmrc2018", cache_dir="data")
# 保存数据集到本地
datasets.save_to_disk('./cmrc2018')
# 从本地加载数据集
datasets = load_from_disk('./cmrc2018')
print(datasets["train"][0])

数据集文件夹结构

终端输出情况