建设银行网站无法登陆潜江网站设计
本地部署AI大模型
通过ollama部署本地AI大模型，Ollama是管理和部署大模型的一个工具，它可以帮助我们在本地更加方便并快速的部署和使用各种大模型
下面是我通过虚拟机CentOS7.9.2009版本进行演示
1、安装和配置Ollama
1.1 下载Ollama安装包
Ollama同时支持macOS、Linux和Windows操作系统
官网：Download Ollama on Linux
教程：快速入门 - Ollama 中文文档
Git官网：ollama/docs/linux.md at main · ollama/ollama · GitHub
1.1.1 Linux操作系统命令行安装
curl -fsSL https://ollama.com/install.sh | sh # 如果安装不成功，可以开启VPN代理 export https_proxy=http://宿主机IP:port
1.1.2 Linux操作系统离线安装
# 安装前要注意查看自己的CPU是什么架构的 uname -m # 使用curl下载 curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz # 如果curl下载不了，可能要先VPN翻墙，可以通过宿主机的VPN实现翻墙 export https_proxy=http://宿主机的IP:port curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz # 直接使用借助宿主机进行下载安装包，这是amd架构即x86 https://ollama.com/download/ollama-linux-amd64.tgz # arm架构 https://ollama.com/download/ollama-linux-arm64.tgz # 解压 sudo tar -C /usr/local/ollama -xzf ollama-linux-amd64.tgz
1.2 将ollama服务使用systemctl进行管理
cat << EOF | tee /usr/lib/systemd/system/ollama.service [Unit] Description=Ollama Service After=network.target [Service] Environment=OLLAMA_HOST=0.0.0.0:11434 ExecStart=/usr/local/ollama/bin/ollama serve Restart=on-failure User=root Group=root [Install] WantedBy=multi-user.target EOF # 使用systemctl管理ollama服务 systemctl enable --now ollama systemctl status ollama
1.3 Ollama语法
可以从官网教程看到一些Ollama的用法，使用浏览器输入http://ip:11434，可以从浏览器中看到Ollama is running字样
-
ollama server：启动ollama服务，当然我现在已经使用systemctl管理
-
ollama list：查看下载的大模型 -
ollama pull llama3.2：下载AI大模型llama3.2 -
ollama rull llama3.2：下载AI大模型并运行 -
ollama rm llama3.2：删除大模型 -
ollama stop llama3.2：停止llama大模型 -
ollama ps：列出当前已加载的模型 -
/exit or /bye：退出模型对话框
配置大模型下载的路径：export OLLAMA_MODELS=/models
2、安装和配置UI界面
我这里使用docker直接去安装图形化UI界面，我已两个流行的AI web界面为例
2.1 MaxKB
基于大语言模型和RAG的知识库问答系统，操作系统支持：Ubuntu 22.04 / CentOS 7.6 64 位系统，所以要其他操作系统要借助Docker进行安装
官网：MaxKB - 基于大模型和 RAG 的知识库问答系统 - 官网
# Linux 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb # Windows 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
这个过程需要的时间相对较长，需要耐心等待
访问
-
通过浏览器http://ip:8080进行访问
-
用户名：
admin，密码：MaxKB@123..
2.2 Open Web UI
官网：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
# 如果ollama部署到当前虚拟机中 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main # 如果ollama部署到其他要制定ollama网址 docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3、使其可以在公网上访问
要实现该功能，可以借助内网穿透工具，可以使用ngrok工具，当然也可以使用frp（部署可能比较复杂，需要借助有公网IP的服务器），可以在我笔记中的notepad/linux_file/config_language/frp_configure.md文件中看到