当前位置: 首页 > news >正文

环境配置+pytorch配置+本地部署大模型

Python环境配置+Pytorch配置+本地部署大模型

引言

本教程梳理了从Python与Pycharm、Anaconda与Jupyter、CUDA与Pytorch、Ollama与Docker的完整安装步骤,旨在帮助使用者一次性成功配置所需环境。

软件简介

Python:一种高级、通用、解释型的编程语言,以其简洁的语法、强大的可读性和丰富的生态系统而闻名。它是数据科学、机器学习、Web开发、自动化脚本等领域的核心语言。

PyCharm:由 JetBrains 公司开发的集成开发环境(IDE),专为 Python 编程设计。提供代码智能补全、强大的调试器、版本控制集成、项目导航、数据库工具等丰富功能,能显著提高开发效率和代码质量,是专业开发者的常用工具。

Anaconda:可以理解为 Python 的一个发行版,集成了Python解释器、conda包管理器以及超过1,500个预编译的科学计算库。其核心优势在于包含了 conda 包管理器,能有效管理软件包及其依赖,其环境管理功能允许用户为不同项目创建隔离的依赖环境,有效解决库版本冲突问题,特别适合处理复杂的环境配置。

Jupyter:一个开源的 Web 应用程序,允许用户创建和共享包含实时代码、方程式、可视化及文本的文档,支持多种编程语言(以Python为主)。其核心Jupyter Notebook允许用户创建和共享包含实时代码、可视化结果和文本说明的文档,特别适合用于数据清洗、数值模拟、统计建模和机器学习等需要交互式探索和教学演示的场景。

CUDA:由 NVIDIA 推出的并行计算平台与编程模型,允许利用 NVIDIA GPU 进行通用计算加速,通过GPU的数千个计算核心实现大规模并行处理。对于深度学习模型的训练和推理至关重要,该技术已成为深度学习训练和推理的核心加速引擎,能够将复杂矩阵运算速度提升数十至数百倍。

PyTorch:由Meta AI(原Facebook AI)主导开发的基于Torch库的的开源深度学习框架,深度集成了 CUDA,能够高效利用 GPU 进行计算。凭借动态计算图、直观的接口和强大的GPU加速能力,成为学术界主流的研究工具,其自动微分系统和模块化设计使得模型原型开发与部署变得高效灵活,适用于研究和工业应用。

Ollama:一个用于在本地(而非云端)运行、部署和管理大型语言模型(如 Llama, Mistral 等)的框架。供简洁的命令行界面实现模型的一键下载、运行和管理。支持Gemma、Llama2等主流开源模型,简化了模型的下载、运行和交互过程,使开发者无需复杂配置即可在本地环境中进行AI应用测试与开发。

Docker:一个开源的应用容器引擎,允许开发者将应用及其所有依赖打包到一个轻量级、可移植的容器中。容器之间相互隔离,确保了应用在任何环境中都能有一致的运行行为,解决了“在我这儿是好的”的环境配置问题。

一、Python 配置

1.1 下载Python安装包

Python 官网:https://www.python.org/downloads/release/python-3137/

1.2 安装Python

下滑找到 Windows installer (64-bit),点击下载
在这里插入图片描述

打开安装包,勾选 Add python.exe to PATH
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

1.3 Python集成开发环境——Pycharm

集成开发环境推荐下载:https://www.jetbrains.com/zh-cn/pycharm/download/?section=windows


二、Anaconda 配置

2.1 下载Anaconda安装包

Anaconda 官网:https://www.anaconda.com/download

Anaconda 安装包清华镜像站:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

推荐官网下载最新版本

2.2 安装Anaconda

打开Anaconda安装包,选择 All Users

在这里插入图片描述

之后全部直接全部点 Next 按钮即可

2.3 验证Anaconda安装状态

2.3.1 创建快捷方式

安装完成后按 Win + S 键 打开搜索 anaconda
在这里插入图片描述

找到 Anaconda Navigator,鼠标右键 打开文件位置 ,可以把 Anaconda Navigator 的快捷方式复制到桌面,方便下次打开

在这里插入图片描述

2.3.2 命令行提示词验证

打开命令提示符(可以按 Win+R,输入 cmd 并回车)

在命令行窗口中输入:conda --version 并按回车

如果命令行成功返回了 conda 的版本号(例如 conda 23.7.2),则表示安装和环境变量配置均已成功

2.4 【可选】配置虚拟环境到其他目录

在D盘根目录建立目录:develop

D:\develop目录下新建目录:AnacondaEnv

D:\develop\AnacondaEnv目录下新建目录:envpkgs

用记事本打开文件:C:\Users\{你的电脑用户名}\.condarc 文件,在文件中覆盖以下内容,即可将Anaconda虚拟环境目录设置为D盘,而非C盘

channels:- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main- defaults
envs_dirs:- D:\Develop\AnacondaEnv\env
pkgs_dirs:- D:\Develop\AnacondaEnv\pkgs
show_channel_urls: true
ssl_verify: false

然后打开Anaconda,打开终端:

输入以下命令查看是否更改成功:

conda config --show

在这里插入图片描述

通过Windows搜索栏搜索环境变量并选择【编辑系统环境变量】;或者按下 Win+R 组合键,输入 sysdm.cpl 并回车

在打开的系统属性窗口中,切换到【高级】选项卡

点击右下角的【环境变量】按钮
在这里插入图片描述

在“环境变量”窗口下方的【系统变量】区域,找到名为 Path 的变量

选中 Path 变量后,点击【编辑】按钮

在这里插入图片描述

在编辑环境变量窗口中,点击【新建】,然后添加以下三个路径(请将示例路径替换为实际的Anaconda安装目录):

D:\develop\AnacondaEnv
D:\develop\AnacondaEnv\Scripts
D:\develop\AnacondaEnv\Library\bin

添加完毕后,点击【确定】按钮保存更改,并关闭所有打开的设置窗口


2.5 Anaconda 命令总结

2.5.1 创建环境
# 创建指定Python版本的环境
conda create --name myenv python=3.8# 创建包含特定包的环境
conda create --name myenv numpy pandas matplotlib# 从environment.yml文件创建环境
conda env create -f environment.yml
2.5.2 激活/停用环境
# 激活环境
conda activate myenv# 停用当前环境
conda deactivate
2.5.3 管理环境
# 列出所有环境
conda env list
conda info --envs# 复制环境
conda create --name newenv --clone oldenv# 删除环境
conda remove --name myenv --all
2.5.4 导出环境配置
# 导出当前环境配置
conda env export > environment.yml# 导出不含构建信息的环境配置(更通用)
conda env export --no-builds > environment.yml
2.5.5 安装包
# 安装单个包
conda install numpy# 安装特定版本
conda install numpy=1.18.5# 从特定channel安装
conda install -c conda-forge package_name# 使用pip安装(当conda不可用时)
pip install package_name
2.5.6 更新包
# 更新特定包
conda update numpy# 更新所有包
conda update --all# 更新conda自身
conda update conda
2.5.7 移除包
# 移除包
conda remove numpy# 移除环境中的所有包
conda remove --name myenv --all
2.5.8 查询包信息
# 列出已安装的包
conda list# 列出特定环境中的包
conda list -n myenv# 搜索包
conda search numpy# 查看包信息
conda info numpy
2.5.9 添加/移除通道
# 添加通道
conda config --add channels conda-forge# 设置通道优先级
conda config --set channel_priority strict# 移除通道
conda config --remove channels conda-forge# 列出所有通道
conda config --get channels
2.5.9 国内镜像源配置(推荐国内用户使用)
# 添加清华镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/# 显示通道URL
conda config --set show_channel_urls yes
2.5.10 系统信息
# 查看conda信息
conda info# 查看conda版本
conda --version# 查看Python版本
python --version
2.5.11 清理缓存
# 清理索引缓存
conda clean -i# 清理所有缓存(包括包文件)
conda clean -a# 清理包缓存
conda clean -p

三、Jupyter 配置

3.1安装Jupyter

在 Anaconda 中安装 Jupyter

在这里插入图片描述

安装完成后打开即可,若打开提示权限问题,可以直接在Anaconda终端中输入以下命令打开:

jupyter notebook

如果想要在图形界面打开Jupyter,可以更改C:\Users\{你的账户名}\AppData\Roaming\jupyter\runtime 目录下所有文件的权限,如果

3.2【可选】更改Jupyter工作目录

打开目录:C:\Users\{你的电脑用户名}\

在文件资源管理器的上方输入 cmd 打开终端
在这里插入图片描述

输入以下命令生成配置文件:

jupyter notebook --generate-config

用记事本打开该配置文件,搜索 notebook_dir 关键字

复制以下内容到该配置文件任意行,目录位置自定

c.NotebookApp.notebook_dir = 'D:\\Code\\Python\\DataAnalysis'

注:如果把 Jupyter 的快捷方式放在桌面上,想以快捷方式的形式打开,需要右键此快捷方式,属性,删除 %USERPROFILE%

在这里插入图片描述


四、CUDA配置

4.1 确认是否需要安装CUDA及查看显卡

CUDA 主要用于利用 NVIDIA GPU 加速
如果计算机没有 NVIDIA 显卡,则无需安装 CUDA

检查显卡方法:

  1. 右键点击桌面上的【此电脑】图标,选择【管理】
  2. 在“计算机管理”窗口中,选择左侧的【设备管理器】
  3. 在右侧列表中展开【显示适配器】一项
  4. 查看是否有列出 NVIDIA系列显卡

在这里插入图片描述

4.2 下载CUDA安装包

提示:安装的 CUDA 版本需要与后续安装的 PyTorch 版本兼容, 并非版本越新越好。本教程使用 CUDA 11.8 版本,该版本与许多常用 PyTorch 版本具有良好的兼容性

官网:https://developer.nvidia.com/cuda-toolkit-archive

在这里插入图片描述

4.3 安装CUDA

双击下载的CUDA 安装包,启动安装程序

程序会首先提示指定一个临时文件解压路径,可以直接点击【OK】使用默认路径
在这里插入图片描述

等待文件提取完成。在许可协议界面,阅读条款后点击【同意并继续】

在安装选项界面,建议选择【自定义(高级)】安装方式,以便选择安装组件。然后点击【下一步】

在这里插入图片描述

在自定义安装组件的选择页面,可以取消勾选您不需要的组件,请确保核心的CUDA组件被选中

确认组件选择后,点击【下一步】

在这里插入图片描述

确认CUDA的安装目标文件夹。通常建议保持默认位置(一般在C盘Program Files下),点击【下一步】
在这里插入图片描述

点击【下一步】,勾选协议,点击【Next】开始执行安装过程

安装完成后,点击【关闭】按钮退出安装程序

4.4 配置CUDA环境变量

此步骤对于系统能够找到并使用CUDA至关重要:

再次打开系统的环境变量编辑窗口

在【系统变量】区域找到名为 Path 的变量,选中后点击【编辑】

点击【新建】,然后添加以下两条路径(请确保版本号 v11.8 与安装的版本一致):

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\libnvvp

添加完毕后,点击【确定】保存修改,并关闭所有设置窗口

在这里插入图片描述

4.5 验证CUDA安装状态

安装完成后进行验证:
打开命令提示符(CMD)
输入命令 nvcc -V 并按回车
如果命令行成功输出了CUDA的版本信息(例如包含 Cuda compilation tools, release 11.8),则表明CUDA已正确安装并配置


五、PyTorch配置

5.1 创建并激活Conda虚拟环境

推荐为PyTorch创建一个独立的虚拟环境,以隔离依赖,避免与其他项目冲突

打开命令提示符(CMD)或 Anaconda Prompt

执行以下命令来创建一个名为 yi_pytorch(可自定义名称)的虚拟环境,并指定Python版本(例如3.9):
conda create -n yi_pytorch python=3.9

当提示 Proceed ([y]/n)? 时,输入 y 并按回车确认

等待环境创建过程结束

激活刚刚创建的环境:
conda activate yi_pytorch
(激活后,命令行提示符前会显示环境名称,如 (yi_pytorch) )

5.2 安装PyTorch(使用镜像加速)

访问PyTorch官网获取对应版本的安装命令:https://pytorch.org/get-started/previous-versions/
(请根据您安装的CUDA版本选择合适的PyTorch版本和安装命令)

国内直接从官方源下载PyTorch可能速度较慢。推荐使用国内镜像源(如清华源)加速:

在已激活的虚拟环境(例如 pytorch_env)中,执行以下命令(此命令适用于CUDA 11.8,请根据官网生成的命令进行调整,并在末尾添加清华源地址):
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/

当提示确认安装时,输入 y 并按回车。

等待conda下载并安装PyTorch及其依赖项。使用镜像源后,下载速度通常会显著提升。

5.3 验证PyTorch安装及GPU可用性

安装完成后,必须验证PyTorch是否能正常工作,特别是能否利用GPU:

确保仍处于已激活的PyTorch虚拟环境中,在命令行输入 python 并回车,进入Python交互式环境

依次输入并执行以下Python代码:

python
import torch
print(f'CUDA available: {torch.cuda.is_available()}')

观察输出:如果CUDA available后面是True,表示PyTorch成功安装并可以调用GPU

输入 exit() 并回车,退出Python环境
在这里插入图片描述

六、PyCharm配置

6.1 安装PyCharm

PyCharm官网:https://www.jetbrains.com/zh-cn/pycharm/
打开PyCharm安装程序,双击运行,点击【Next】开始

选择安装路径(推荐安装在非系统盘,例如 D:\Software\PyCharm),点击【Next】

Installation Options页面,根据需要进行勾选如下选项,然后点击【Next】

  • 创建桌面快捷方式 (Create Desktop Shortcut)

  • 添加到系统PATH路径 (Update PATH variable)

  • 关联 .py 文件 (Associate .py files)

选择开始菜单文件夹(保持默认即可),点击【Next】

点击【Install】开始安装

等待安装完成后,点击【Finish】

6.2 配置PyCharm环境

主要配置内容通常包括:

  • PyCharm首次启动的初始化设置
  • 将PyCharm连接到之前创建的Anaconda虚拟环境(例如 pytorch_env),以便使用其中安装的PyTorch
  • (可选)安装常用插件
  • (可选)调整编辑器主题和字体
  • (可选)熟悉调试器的基本使用

将PyCharm连接到之前创建的Anaconda虚拟环境(yi_pytorch)步骤:
在这里插入图片描述

在这里插入图片描述


七、安装Ollama并本地部署大模型

7.1 下载Ollama安装包

从Ollama官网下载Ollama.exe

可安装macOS、Linux、Windows版本【本篇文章基于Windows】

注意:Ollama安装包的下载地址是定位到github的,可以使用下载好的安装包(Ollama.exe)
在这里插入图片描述

7.2 安装Ollama

解压后双击Ollama.exe安装包,然后点击【Install】按钮等待安装完成即可
在这里插入图片描述

7.3 验证Ollama安装状态

安装完成后,运行CMD,输入Ollama,输出下图结果说明安装成功

在这里插入图片描述

7.4 找到Ollama官网deepseek模型

Ollama官网:https://ollama.com/
打开Ollama官网,点击顶部的Models链接,点击deepseek-r1模型
在这里插入图片描述

7.5 找到并复制Ollama官网安装deepseek的命令

下拉框中有各个版本的deepseek模型,数字越大对电脑硬件的要求越高,此处选择1.5b进行下载
在这里插入图片描述

7.6 安装deepseek模型

复制deepseek安装命令,回到CMD,输入安装命令,运行安装,输出下图结果说明安装成功

在这里插入图片描述

7.7 使用本地部署的deepseek模型

在CMD中>>>输入内容,可实现与deepseek对话

在这里插入图片描述


八、安装 Docker并配置Maxkb

8.1 下载Docker安装包

Docker官网:https://www.docker.com/
从Docker官网下载Docker Desktop Installer.exe

注意: 可以使用下载好的安装包(Docker Desktop Installer.exe)
在这里插入图片描述

8.2 安装 Docker

双击下载的 Docker Desktop 安装包,启动安装程序

注意:按照屏幕上的指示进行操作。建议选择默认选项,包括启用 WSL 2 和 Hyper-V
在这里插入图片描述

8.3 启动Docker

在 Windows 开始菜单中找到 Docker Desktop,点击启动程序。
在这里插入图片描述

8.4 下载Maxkb

Maxkb官网:https://maxkb.cn/docs/installation/online_installtion/

1.运行CMD,输入下方代码:

# Windows 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages registry.fit2cloud.com/maxkb/maxkb

在这里插入图片描述

2.回到Docker,结果如下图所示:

在这里插入图片描述

3.点击8080:8080即可运行Maxbk

默认登录信息
用户名:admin
默认密码:MaxKB@123..

在这里插入图片描述

8.5 配置Maxkb

默认Maxkb无法保存知识库,所以需要自定义配置Maxkb

1.复制数据地址

/var/lib/postgresql/data

在这里插入图片描述
在这里插入图片描述

2.删除maxkb

在这里插入图片描述

3.重新创建maxkb

新建文件夹保存Maxkb数据,具体配置如图所示:
在这里插入图片描述
在这里插入图片描述

4.运行Maxkb

点击8080:8080,或者使用网址http://localhost:8080/
在这里插入图片描述

8.6使用Maxkb

8.6.1 配置知识库

1.创建知识库

点击知识库,创建知识库

知识库类型:- 通用型:使用本地文档- web站点:指定网页地址

在这里插入图片描述

2.上传文档

根据上传文档进行选择分段规则,可以使用默认智能分段
在这里插入图片描述

8.6.2 配置大语言模型

点击系统设置-模型设置,配置Ollama模型

添加Deepseek模型相关信息
模型名称:自定义【deepseek-r1:1.5b】
权限:根据应用场景选择权限类型
模型类型:大语言模型
基础模型:选择下载的模型【deepseek-r1:1.5b】
API域名:http://host.docker.internal:11434
API Key:自定义【随意输入即可】

在这里插入图片描述

8.6.3 配置应用

1.创建应用

点击应用,创建应用
在这里插入图片描述

2.配置模型和知识库

在这里插入图片描述

8.6.4 嵌入第三方应用

选择应用-设置-概览、复制需要的嵌入方式代码
在这里插入图片描述

http://www.dtcms.com/a/586858.html

相关文章:

  • 网站建设主页文档软件设计方案怎么写
  • 千山科技做网站好不好企业seo关键字优化
  • 基于Spring ApplicationEvent的业务解耦实践
  • 网站留言板作用ktv网站模板
  • 什么网站必须要flash寮步网站建设价钱
  • 手机网站建设服务电话现在做网站都是怎么做的
  • C++项目中实现无锁队列
  • 谷歌:LLM监督强化学习框架SRL
  • C++ 实现智能指针my_auto_ptr支持指针剥离及函数间传递
  • 网站建设公司如何挖掘客户少儿编程证书含金量排名
  • 电脑自带的做网站叫什么娱乐论坛网站建设方案范文
  • AI?不,是Illustrator“变量”:10分钟生成500张UI卡片
  • 南漳网站制作网站建设与网页制作案例教程
  • 宜城网站建设网络推广网站推广软件app
  • 怎样在网站上做有效的广告投放网站制作找哪个
  • wordpress 站外调用网站建设怎么找客户
  • 想做个网站要多少钱单位做网站图片素材
  • 洛阳霞光企业网站建设公司深圳网站搭建电话
  • C语言进阶:共用体和枚举
  • 网站单页源码ui培训班哪里有
  • 鸟人 网站建设东莞常平有哪些好玩的地方
  • 专做动漫解说的网站做视频采集网站犯法
  • 1.5 程序的开发过程
  • 网站推广公司排名小米路由2 做网站
  • 数据索引是无序时,直接用这个数据去画图的话,显示的图是错误的
  • 网站建设 制作公司网站建设好后能修改吗
  • CentOS7安装Docker及配置代理
  • 专业做生鲜的网站wordpress站点如何加速
  • 外贸网站推广方案福田企业的网站建设公司好吗
  • 什么是跳表