html5做测试网站的源代码新产品推广策划方案
使用T5小模型在笔记本上训练 nature language to SQL/自然语言 转SQL
实测通过。
本文介绍了如何在笔记本上使用T5小模型训练自然语言转SQL的任务。主要内容包括：1) 创建Python 3.9环境并安装必要的依赖包；2) 通过Hugging Face镜像下载wikisql数据集和T5-small模型；3) 实现数据预处理函数，将自然语言问题转换为SQL查询语句；4) 优化训练过程，包括截断条件和批量处理以提高内存效率。实验表明，该方法在有限计算资源下可行，适合个人开发者和小规模项目尝试。
##############################################
创建环境 建议用python3.9
##############################################
#list all conda environment
conda env list
#deactive 现有环境
conda deactivate
conda remove --name py312_test --all
#创建一个新环境
conda create -n py39_test python=3.9
conda activate py39_test
#requirment.txt 见文章最下方
##############################################
开始安装
##############################################
#pip
pip install torch transformers pandas datasets
#curl
curl -I https://hf-mirror.com/datasets/Salesforce/wikisql
先尝试从wiki下载SQL set
import os
os.environ[“HF_ENDPOINT”] = “https://hf-mirror.com”
from datasets import load_dataset
指定版本（如 “refs/convert/parquet” 是官方维护的稳定分支）
dataset = load_dataset(
“Salesforce/wikisql”,
trust_remote_code=True,
revision=“refs/convert/parquet”
) # dataset 保存在 C:\Users\ASUS.cache\huggingface\datasets
print(dataset[“train”][0]) # 查看数据结构
install torch
pip uninstall numpy -y
pip install numpy1.26.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch2.1.0 --extra-index-url https://download.pytorch.org/whl/cpu -i https://pypi.tuna.tsinghua.edu.cn/simple
import numpy as np
print(f"NumPy 版本: {np.version}“) # 应输出 1.26.0
import torch
print(f"PyTorch 版本: {torch.version}”) # 输出 2.1.0+cpu
print(f"是否为 CPU 版本: {not torch.cuda.is_available()}") # 输出 True（无 GPU 时）
#install sentencepiece
pip install sentence