
資料內(nèi)容:
1. 方式一
1.1下載數(shù)據(jù)
import os
# 設(shè)置 Hugging Face 鏡像地址
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from datasets import load_dataset
# Login using e.g. `huggingface-cli login` to access this dataset
ds = load_dataset("FreedomIntelligence/medical-o1-reasoning-SFT", # 數(shù)據(jù)集名稱
"zh", # 配置名(語
言)
cache_dir="/root/app/Hugging_face_user/local_medical-01-
reasoning-SFT")
print(ds) # 查看數(shù)據(jù)集結(jié)構(gòu)
print(ds["train"][0]) # 查看訓(xùn)練集第一條樣本
"""
FreedomIntelligence__medical-o1-reasoning-sft 是 Hugging Face 上的 dataset ID,zh
是配置(language)。
"""
# print("*" * 100)
# import os
# print(os.listdir("/root/app/Hugging_face_user/local_medical-01-reasoning-SFT"))