数据集下载并保存本地进行加载

一、huggingface

1、下载数据集

#数据集下载
from datasets import load_datasetds = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", "zh",cache_dir = './dir')

• 输出测试
  

2、保存数据集

#数据保存
ds.save_to_disk("./local_dataset")

3、本地加载数据集

#数据集从 本地 加载
from datasets import load_from_diskdataset = load_from_disk("./local_dataset")

• 运行测试
  

二、modelscope 待补充