win10部署本地LLM和AI Agent

1、Docker Desktop

        Docker_Desktop_Installer.4.38.0.exeDocker_Desktop_Installer.4.38.0.exeDocker_Desktop_Installer.4.38.0.exe

        查看Docker版本：

                docker version

                docker info

        

2、安装Dify

        git clone https://gitee.com/dify_ai/dify.git

3、运行Dify

        3.1 修改Dify的.env配置文件

                D:\Hworkspace\dify\difyGitee\docker\.env

        3.2 修改国内镜像源

                

        3.3 修改环境变量

                C:\Users\hzf28\.docker\daemon.json

        3.4 执行命令启动Dify

                cd D:\Hworkspace\dify\difyGitee\docker>

                docker compose up -d

4、安装Ollama

        OllamaSetup0.9.0.exe

        http://www.2265.com/soft/542390.html

        4.1 验证安装是否成功

                ollama --version

                ​​​​​

        4.2 配置环境变量       

                OLLAMA_HOST=0.0.0.0:11434

                虚拟机里的程序能访问本机运行的 Ollama 模型RAGFlow 是部署在虚拟机里的，默认情况下，0llama 只能允许本机访问(监听 localhost:11434)，其他设备(比如虚拟机)是无法连接的。

                OLLAMA_MODELS:D:\Users\hzf28\AppData\Ollama
                默认模型下载到 C 盘，配置后可以下载D盘

        4.3 下载大模型    

                大模型库：https://ollama.com/library

                ​

        4.4 运行大模型 

                ollama list

                ollama ps

                ollama run qwen3:1.7b

                ​

 

          4.5.验证大模型 

                 http://127.0.0.1:11434/

                

5、运行deepseek-r1:7b       

        5.1 下载大模型并运行    

             ollama run deepseek-r1:7b