RuntimeError: Dataset scripts are no longer supported, but found wikipedia.py

运行如下代码时出现错误

from datasets import load_dataset
ds_name="wikipedia"
raw_ds = load_dataset(ds_name,dict(wikitext="wikitext-103-raw-v1", wikipedia="20220301.en")[ds_name])

错误：

RuntimeError: Dataset scripts are no longer supported, but found wikipedia.py

原因就是datasets包太新了，应该是2025年datasets-4.0.0会出现这个问题。

解决办法就是将包的版本降级。下面这个可以，但是需要在load_dataset函数中加上参数trust_remote_code=True

pip install datasets==3.6.0

下面这个可以直接运行

pip install datasets==2.18.0