当前位置： 首页 > wzjs >正文

广州市研发网站建设价格小型企业网方案设计5000字

wzjs 2025/9/1 5:32:38
广州市研发网站建设价格,小型企业网方案设计5000字,西丽网站的建设,网站免费推广大全文章目录 1.环境准备1.1 硬件环境1.2 OS 环境1.3 Python 环境 2.环境安装2.1 CUDA 驱动下载安装2.2 torch 库下载安装2.3 transformers 库安装2.3 accelerate 库安装2.4 验证 CUDA 是否可用2.5 下载 Qwen1.5-0.5B 大模型 3.测试大模型3.1 加载大模型3.2 简单对话3.3 亲测体验感…

文章目录

  • 1.环境准备
    • 1.1 硬件环境
    • 1.2 OS 环境
    • 1.3 Python 环境
  • 2.环境安装
    • 2.1 CUDA 驱动下载安装
    • 2.2 torch 库下载安装
    • 2.3 transformers 库安装
    • 2.3 accelerate 库安装
    • 2.4 验证 CUDA 是否可用
    • 2.5 下载 Qwen1.5-0.5B 大模型
  • 3.测试大模型
    • 3.1 加载大模型
    • 3.2 简单对话
    • 3.3 亲测体验感受

1.环境准备

1.1 硬件环境

华硕飞行堡垒笔记本

网络：联网环境（必备）
显卡：NVIDIA GeForce GTX 1050 显卡，4G 显存
运行内存：8G 即可
CPU：4核

1.2 OS 环境

Windows 10 操作系统

1.3 Python 环境

Python 3.8.2 版本

pip 国内源配置，目的是快速下载 Python 依赖库
先在 C:\Users\Administrator 目录 创建 .pip 目录
然后在 C:\Users\Administrator.pip 目录 创建 pip.ini 文件
然后在文件编辑如下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
extra-index-url = https://pypi.org/simplehttps://mirrors.aliyun.com/pypi/simple/https://pypi.mirrors.ustc.edu.cn/simple/https://mirrors.sustech.edu.cn/pypi/web/simple/

2.环境安装

2.1 CUDA 驱动下载安装

因为使用的显卡是笔记本自带的 NVIDIA GeForce GTX 1050
所以这里安装的驱动是 CUDA 12.4 版本，兼容 1050 显卡

CUDA 12.4 版本 驱动 下载地址：
https://developer.download.nvidia.cn/compute/cuda/12.4.1/local_installers/cuda_12.4.1_551.78_windows.exe

cuda_12.4.1_551.78_windows.exe 此安装包 2.97G，下载时间有点长

注意：
根据不同操作系统、CPU架构版本，需要适配 CUDA 驱动版本，可以去 NVIDIA 官网下载
访问地址是：
https://developer.nvidia.cn/cuda-toolkit
https://developer.nvidia.cn/cuda-downloads

手动安装 cuda_12.4.1_551.78_windows.exe
安装完，需重启笔记本

检查 CUDA 驱动是否能用
Windows + R 运行 → cmd 确定 → 输入 nvidia-smi
示例：

C:\Users\Administrator>nvidia-smi
Sat Mar 15 11:31:24 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 551.78                 Driver Version: 551.78         CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                     TCC/WDDM  | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce GTX 1050      WDDM  |   00000000:01:00.0 Off |                  N/A |
| N/A   32C    P0             N/A / ERR!  |       0MiB /   4096MiB |      1%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------++-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+C:\Users\Administrator>

2.2 torch 库下载安装

为了使用 GPU，Torch 库的版本需要依赖 CUDA 版本的，需要单独下载，Windows 版本所以下载 whl 包

torch 下载地址（因为本地使用的 Python 版本是 3.8，所以下载这个版本 torch-2.2.1+cu121-cp38-cp38-win_amd64.whl）：
https://download.pytorch.org/whl/cu121/torch-2.2.1%2Bcu121-cp38-cp38-win_amd64.whl

torch-2.2.1+cu121-cp38-cp38-win_amd64.whl 这个包 2.28G，下载有点慢

安装方式:（Windows 10 控制台安装）
首先，Windows + R 运行 → cmd 确定，cd 进到 torch-2.2.1+cu121-cp38-cp38-win_amd64.whl 文件所在目录，然后 pip 安装

pip install torch-2.2.1+cu121-cp310-cp310-win_amd64.whl

安装后 pip list 看到的 torch 版本是 2.2.1+cu121

注意：
解释 torch-2.2.1+cu121-cp38-cp38-win_amd64.whl 版本参数
torch-2.2.1 ： torch 版本
cu121 ： CUDA 版本 12.1，实际使用 CUDA 版本 12.4，也能够兼容
cp38 ： Python 3.8 版本
win_amd64 ： Windows 64 位版本

其他 Python 版本（3.8,3.9,3.10,3.11，3.12）下载列表地址：
https://download.pytorch.org/whl/cu121/torch/

2.3 transformers 库安装

transformers 库是使用大模型的基础库

pip install transformers

不需要指定版本，自动安装最新的库
安装后 pip list 看到的 transformers 版本是 4.46.3

2.3 accelerate 库安装

pip install accelerate

不需要指定版本，自动安装最新的库
安装后 pip list 看到的 accelerate 版本是 1.0.1

2.4 验证 CUDA 是否可用

import torch# 输出为 True 则表示可以正常使用 CUDA
print(torch.cuda.is_available())# 输出 CUDA 版本号
print(torch.version.cuda)if torch.cuda.is_available():# 打印当前GPU的名称，通常包含CUDA版本信息print(torch.cuda.get_device_name(0))# 打印当前GPU的计算能力（例如7.5）print(torch.cuda.get_device_capability(0))

2.5 下载 Qwen1.5-0.5B 大模型

大模型下载地址：（国内地址，可直接访问）
https://modelscope.cn/models/Qwen/Qwen1.5-0.5B/files
推荐浏览器访问，建议逐个点击下载，保存到本地，重点 model.safetensors 文件务必下载完整，否则后续跑不通
因为模型文件比较大，故 git clone 拉取不推荐使用

建议下载路径保存到 全英文目录

下载后的文件列表是：

LICENSE
README.md
config.json
configuration.json
generation_config.json
merges.txt
model.safetensors
tokenizer.json
tokenizer_config.json
vocab.json

3.测试大模型

3.1 加载大模型

# dependency
from transformers import AutoModelForCausalLM, AutoTokenizer## the device to load the model onto
device = "cuda"## 0.5B 大模型 保存的目录，建议全英文目录
path = r"F:\\models\\Qwen1.5-0.5B"model = AutoModelForCausalLM.from_pretrained(path,torch_dtype="auto",device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(path)

3.2 简单对话

  • v1 基础版本
## 会话
prompt = "你是谁"messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}
]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True
)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)

基础版本直接回答问题

  • v2 封装成函数版本
def get_response(prompt):messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512,pad_token_id=tokenizer.eos_token_id)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)get_response("如何学习Python？")

这一版可以直接调用函数进行问答问题

  • v3 保存历史进行多轮会话版本
def run_qwen_with_history():messages = [{"role": "system", "content": "You are a helpful assistant."},#{"role": "user", "content": prompt}]while True:new_question = input("请输入你的问题：")if new_question == "clear":messages = [messages[0]]continue#messages.append({"role": "user", "content": new_question})text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512,pad_token_id=tokenizer.eos_token_id)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)#messages.append({"role": "system", "content": response})run_qwen_with_history()

这一版后台会记住之前的对话，从而实现多轮对话的功能。

3.3 亲测体验感受

实测 0.5B 模型 跑的时候占用 GPU 显存 1.3G
整体对话回答的体验效果不是很好，毕竟这是笔记本跑的 mini 版，勉强算是体验了一把大模型，哈哈哈

我们下期见，拜拜！

http://www.dtcms.com/wzjs/565332.html

相关文章：

  • 南昌网站建设效果一级a做爰片免费网站国语版的
  • wordpress建站产品导入不同目录合肥网站
  • 房产网站代运营wordpress侧栏显示指定分类
  • 网站颜色搭配实例动漫网站怎么做的
  • wdcp网站搬家个人社保缴费记录查询官网
  • 企业网站建设方案书范文阿里巴巴做网站费用计入
  • 雪白丰腴做美妇网站龙华网站建设推广外包
  • 比较好的建站程序线上教学网站
  • 网站可以免费看新手怎么从1688拿货
  • 搭建网站合同定西地网站建设
  • 做刷网站怎么赚钱法律问题咨询哪个网站做的好
  • 动态手机网站怎么做的竞价是什么工作
  • 嘉兴企业自助建站系统高校门户网站开发
  • 安徽阜阳网站建设公司免费单页网站
  • ps做网站的效果图上海市公司名称大全
  • 网站建设班WordPress用来营销
  • 上海自适应网站设计做国外单的网站叫什么名字
  • 建设信用卡中心网站近期的新闻消息
  • 惠州 网站建设公司怎么做班级网站
  • 傻瓜做网站丹阳是哪个省
  • 关闭站长工具seo综合查询电子商务网站建设和推广
  • 网站主页设计注意点哪里有做网站推广的
  • 网站建设与管理课后作业答案wordpress棋牌主题
  • 网站百度收录长沙旅游景点大全排名
  • 荆州做网站公司最好wordpress转换成dede
  • 上海网站建设培训学校给企业做网站的好处
  • 网站经常被攻击设计师个人网站主页
  • 网站设计网络公司宜春做网站公司怎么样
  • 建设网站运营方案百度上首页
  • 北京如何做网站app模板图片