当前位置： 首页 > wzjs >正文

义乌网站建设制作网络营销运营方案

wzjs 2025/7/22 15:56:54
义乌网站建设制作,网络营销运营方案,网站做外链推广的常用方法,深圳注册公司代办文章目录 1.环境准备1.1 硬件环境1.2 OS 环境1.3 Python 环境 2.环境安装2.1 CUDA 驱动下载安装2.2 torch 库下载安装2.3 transformers 库安装2.3 accelerate 库安装2.4 验证 CUDA 是否可用2.5 下载 Qwen1.5-0.5B 大模型 3.测试大模型3.1 加载大模型3.2 简单对话3.3 亲测体验感…

文章目录

  • 1.环境准备
    • 1.1 硬件环境
    • 1.2 OS 环境
    • 1.3 Python 环境
  • 2.环境安装
    • 2.1 CUDA 驱动下载安装
    • 2.2 torch 库下载安装
    • 2.3 transformers 库安装
    • 2.3 accelerate 库安装
    • 2.4 验证 CUDA 是否可用
    • 2.5 下载 Qwen1.5-0.5B 大模型
  • 3.测试大模型
    • 3.1 加载大模型
    • 3.2 简单对话
    • 3.3 亲测体验感受

1.环境准备

1.1 硬件环境

华硕飞行堡垒笔记本

网络：联网环境（必备）
显卡：NVIDIA GeForce GTX 1050 显卡，4G 显存
运行内存：8G 即可
CPU：4核

1.2 OS 环境

Windows 10 操作系统

1.3 Python 环境

Python 3.8.2 版本

pip 国内源配置，目的是快速下载 Python 依赖库
先在 C:\Users\Administrator 目录 创建 .pip 目录
然后在 C:\Users\Administrator.pip 目录 创建 pip.ini 文件
然后在文件编辑如下内容

[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
extra-index-url = https://pypi.org/simplehttps://mirrors.aliyun.com/pypi/simple/https://pypi.mirrors.ustc.edu.cn/simple/https://mirrors.sustech.edu.cn/pypi/web/simple/

2.环境安装

2.1 CUDA 驱动下载安装

因为使用的显卡是笔记本自带的 NVIDIA GeForce GTX 1050
所以这里安装的驱动是 CUDA 12.4 版本，兼容 1050 显卡

CUDA 12.4 版本 驱动 下载地址：
https://developer.download.nvidia.cn/compute/cuda/12.4.1/local_installers/cuda_12.4.1_551.78_windows.exe

cuda_12.4.1_551.78_windows.exe 此安装包 2.97G，下载时间有点长

注意：
根据不同操作系统、CPU架构版本，需要适配 CUDA 驱动版本，可以去 NVIDIA 官网下载
访问地址是：
https://developer.nvidia.cn/cuda-toolkit
https://developer.nvidia.cn/cuda-downloads

手动安装 cuda_12.4.1_551.78_windows.exe
安装完，需重启笔记本

检查 CUDA 驱动是否能用
Windows + R 运行 → cmd 确定 → 输入 nvidia-smi
示例：

C:\Users\Administrator>nvidia-smi
Sat Mar 15 11:31:24 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 551.78                 Driver Version: 551.78         CUDA Version: 12.4     |
|-----------------------------------------+------------------------+----------------------+
| GPU  Name                     TCC/WDDM  | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce GTX 1050      WDDM  |   00000000:01:00.0 Off |                  N/A |
| N/A   32C    P0             N/A / ERR!  |       0MiB /   4096MiB |      1%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------++-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI        PID   Type   Process name                              GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+C:\Users\Administrator>

2.2 torch 库下载安装

为了使用 GPU，Torch 库的版本需要依赖 CUDA 版本的，需要单独下载，Windows 版本所以下载 whl 包

torch 下载地址（因为本地使用的 Python 版本是 3.8，所以下载这个版本 torch-2.2.1+cu121-cp38-cp38-win_amd64.whl）：
https://download.pytorch.org/whl/cu121/torch-2.2.1%2Bcu121-cp38-cp38-win_amd64.whl

torch-2.2.1+cu121-cp38-cp38-win_amd64.whl 这个包 2.28G，下载有点慢

安装方式:（Windows 10 控制台安装）
首先，Windows + R 运行 → cmd 确定，cd 进到 torch-2.2.1+cu121-cp38-cp38-win_amd64.whl 文件所在目录，然后 pip 安装

pip install torch-2.2.1+cu121-cp310-cp310-win_amd64.whl

安装后 pip list 看到的 torch 版本是 2.2.1+cu121

注意：
解释 torch-2.2.1+cu121-cp38-cp38-win_amd64.whl 版本参数
torch-2.2.1 ： torch 版本
cu121 ： CUDA 版本 12.1，实际使用 CUDA 版本 12.4，也能够兼容
cp38 ： Python 3.8 版本
win_amd64 ： Windows 64 位版本

其他 Python 版本（3.8,3.9,3.10,3.11，3.12）下载列表地址：
https://download.pytorch.org/whl/cu121/torch/

2.3 transformers 库安装

transformers 库是使用大模型的基础库

pip install transformers

不需要指定版本，自动安装最新的库
安装后 pip list 看到的 transformers 版本是 4.46.3

2.3 accelerate 库安装

pip install accelerate

不需要指定版本，自动安装最新的库
安装后 pip list 看到的 accelerate 版本是 1.0.1

2.4 验证 CUDA 是否可用

import torch# 输出为 True 则表示可以正常使用 CUDA
print(torch.cuda.is_available())# 输出 CUDA 版本号
print(torch.version.cuda)if torch.cuda.is_available():# 打印当前GPU的名称，通常包含CUDA版本信息print(torch.cuda.get_device_name(0))# 打印当前GPU的计算能力（例如7.5）print(torch.cuda.get_device_capability(0))

2.5 下载 Qwen1.5-0.5B 大模型

大模型下载地址：（国内地址，可直接访问）
https://modelscope.cn/models/Qwen/Qwen1.5-0.5B/files
推荐浏览器访问，建议逐个点击下载，保存到本地，重点 model.safetensors 文件务必下载完整，否则后续跑不通
因为模型文件比较大，故 git clone 拉取不推荐使用

建议下载路径保存到 全英文目录

下载后的文件列表是：

LICENSE
README.md
config.json
configuration.json
generation_config.json
merges.txt
model.safetensors
tokenizer.json
tokenizer_config.json
vocab.json

3.测试大模型

3.1 加载大模型

# dependency
from transformers import AutoModelForCausalLM, AutoTokenizer## the device to load the model onto
device = "cuda"## 0.5B 大模型 保存的目录，建议全英文目录
path = r"F:\\models\\Qwen1.5-0.5B"model = AutoModelForCausalLM.from_pretrained(path,torch_dtype="auto",device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(path)

3.2 简单对话

  • v1 基础版本
## 会话
prompt = "你是谁"messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}
]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True
)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)

基础版本直接回答问题

  • v2 封装成函数版本
def get_response(prompt):messages = [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": prompt}]text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512,pad_token_id=tokenizer.eos_token_id)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)get_response("如何学习Python？")

这一版可以直接调用函数进行问答问题

  • v3 保存历史进行多轮会话版本
def run_qwen_with_history():messages = [{"role": "system", "content": "You are a helpful assistant."},#{"role": "user", "content": prompt}]while True:new_question = input("请输入你的问题：")if new_question == "clear":messages = [messages[0]]continue#messages.append({"role": "user", "content": new_question})text = tokenizer.apply_chat_template(messages,tokenize=False,add_generation_prompt=True)model_inputs = tokenizer([text], return_tensors="pt").to(device)generated_ids = model.generate(model_inputs.input_ids,max_new_tokens=512,pad_token_id=tokenizer.eos_token_id)generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]print(response)#messages.append({"role": "system", "content": response})run_qwen_with_history()

这一版后台会记住之前的对话，从而实现多轮对话的功能。

3.3 亲测体验感受

实测 0.5B 模型 跑的时候占用 GPU 显存 1.3G
整体对话回答的体验效果不是很好，毕竟这是笔记本跑的 mini 版，勉强算是体验了一把大模型，哈哈哈

我们下期见，拜拜！

http://www.dtcms.com/wzjs/51437.html

相关文章：

  • 滨湖区知名做网站选哪家天津百度seo
  • 抽奖页面设计模板百度搜索引擎优化指南最新版
  • 企业官网wordpress主题下载aso优化技巧大aso技巧
  • 网站建设公司设计网页的工具西安seo推广优化
  • 上海营销型网站标准广告投放平台公司
  • 用字母做logo的网站北大青鸟软件开发培训学费多少
  • 做网站的经历网店运营工作内容
  • 网站开发锦州seo推广
  • 深圳网站建设服务电话友情链接买卖代理
  • 博客做单页网站竞价推广工作内容
  • 网站正在建设模板线下推广宣传方式有哪些
  • 服务器租用网站自动划分空间正规电商平台有哪些
  • 平果信息网seo修改器
  • 网站产品使用说明书怎么做企业网络营销业务
  • 创业ppt模板免费优化大师破解版app
  • 网站建设需求调研过程百度云搜索入口
  • 做汽车的网站编辑今日最新抗疫数据
  • 单页网站制作 在线 支付培训班该如何建站
  • 网站色彩设计百度网站的网址
  • 怎样优化网站案例域名网站查询
  • 中山网站免费制作广告营销公司
  • 网站备案的是空间还是域名百度推广登录官网入口
  • logo在线制作网站google推广公司
  • 网站模板无忧广州百度搜索排名优化
  • 二手书网站建设策划书百度指数的需求指数
  • 做文库网站怎么赚钱吗长沙seo公司
  • 网站域名备案与解析5g网络优化工程师
  • 建设网站网站大数据营销精准营销
  • 网页设计总结论文搜索引擎优化实验报告
  • 上海建设银行网站首页宁波seo在线优化哪家好