【GPT入门】第31课 ollama运行私有化部署的模型与调试
【GPT入门】第31课 ollama运行私有化部署的模型、代码调用与调试
- 1. 官网下载ollama
- 2. 运行模型
- 3. OllamaLLM模型代码运行
- 4 langchain OpenAI模型本机调用与远程调用
- 5. 模型的调试
1. 官网下载ollama
https://ollama.com/ 官网下载，不断下一步安装就行，如果C盘比较少，建议变更模型安装路径。
2. 运行模型
如果模型不存在，就自动下载。
检查磁盘大小：
C:\Users\jintech>ollama list
NAME ID SIZE MODIFIED
qwen:1.8b b6e8ec2e7126 1.1 GB 4 minutes ago
C:\Users\jintech>ollama cp qwen:1.8b gpt-4:latest
copied ‘qwen:1.8b’ to ‘gpt-4:latest’
C:\Users\jintech>ollama list
NAME ID SIZE MODIFIED
gpt-4:latest b6e8ec2e7126 1.1 GB 11 seconds ago
gpt-3.5-turbo:latest b6e8ec2e7126 1.1 GB 2 minutes ago
qwen:1.8b b6e8ec2e7126 1.1 GB 13 minutes ago
检查磁盘大小：发现，大小不变。
3. OllamaLLM模型代码运行
# from langchain_community.llms import Ollama 过期
from langchain_ollama import OllamaLLM
# llm = OllamaLLM(model="qwen:1.8b")
llm = OllamaLLM(model="gpt-4")
print(llm.invoke("你是谁？"))
print(llm.predict("你是谁？"))
4 langchain OpenAI模型本机调用与远程调用
# from langchain_community.llms import Ollama
from langchain_ollama import ChatOllama
from langchain_openai import ChatOpenAI
# llm = OllamaLLM(model="qwen:1.8b")
llm = ChatOllama(model="gpt-4")
print(llm.invoke("你是谁？"))
llm = ChatOpenAI(
api_key="EMPTY",
base_url="http://localhost:11434/v1"
)
print("chatopenai:", llm.invoke("什么是大模型？"))
5. 模型的调试
from langchain_ollama import OllamaLLM
from langchain.globals import set_debug
set_debug(True)
llm = OllamaLLM(model="gpt-4")
print(llm.invoke("你是谁？"))
C:\ProgramData\anaconda3\envs\gptLearning\python.exe "E:\workspace\gptLearning\gptLearning\ls10\06 ollama\03.debug.py"
[llm/start] [llm:OllamaLLM] Entering LLM run with input:
{
"prompts": [
"你是谁？"
]
}
[llm/end] [llm:OllamaLLM] [10.40s] Exiting LLM run with output:
{
"generations": [
[
{
"text": "我是来自阿里云的大规模语言模型——通义千问。通义千问能够理解和生成多种自然语言，如中文、英文等，并且具有强大的知识图谱构建能力，能够从海量的文本数据中挖掘出有价值的知识，从而帮助用户更加有效地完成任务和获取信息。\n\n在使用通义千问时，您可以将其作为聊天机器人、知识图谱编辑器、内容创作助手等应用的主体功能。通过与各种应用场景的深度融合，通义千问不仅可以为用户提供丰富多样的语言服务和应用体验，还可以推动各应用场景之间的数据交换和知识共享，从而更好地服务于人类社会的发展和社会进步。",
"generation_info": {
"model": "gpt-4",
"created_at": "2025-04-02T13:23:39.6653804Z",
"done": true,
"done_reason": "stop",
"total_duration": 10395253300,
"load_duration": 33002200,
"prompt_eval_count": 11,
"prompt_eval_duration": 507188000,
"eval_count": 136,
"eval_duration": 9854459900,
"response": "",
"context": [
151644,
872,
198,
105043,
100165,
11319,
151645,
198,
151644,
77091,
198,
104198,
101919,
102661,
99718,
104197,
100176,
102064,
104949,
8545,
31935,
64559,
99320,
56007,
1773,
31935,
64559,
99320,
56007,
100006,
115167,
43959,
101312,
99795,
102064,
3837,
29524,
104811,
5373,
105205,
49567,
3837,
103937,
100629,
104795,
100032,
28029,
101454,
104004,
99788,
3837,
100006,
45181,
112300,
9370,
108704,
20074,
15946,
102541,
20221,
111185,
107232,
3837,
101982,
100364,
20002,
101896,
107980,
60548,
88802,
33108,
45912,
27369,
1773,
198,
198,
18493,
37029,
31935,
64559,
99320,
56007,
13343,
3837,
107952,
105278,
100622,
105292,
104354,
5373,
100032,
28029,
101454,
57019,
31548,
5373,
43815,
104223,
110498,
49567,
99892,
9370,
101273,
98380,
1773,
67338,
57218,
100646,
116541,
9370,
112077,
3837,
31935,
64559,
99320,
56007,
111601,
17714,
110782,
100733,
42140,
100535,
102064,
47874,
33108,
99892,
101904,
3837,
104468,
101890,
99200,
116541,
104186,
20074,
106198,
33108,
100032,
101203,
3837,
101982,
105344,
112281,
103971,
99328,
103949,
106640,
101300,
1773
]
},
"type": "Generation"
}
]
],
"llm_output": null,
"run": null,
"type": "LLMResult"
}
我是来自阿里云的大规模语言模型——通义千问。通义千问能够理解和生成多种自然语言，如中文、英文等，并且具有强大的知识图谱构建能力，能够从海量的文本数据中挖掘出有价值的知识，从而帮助用户更加有效地完成任务和获取信息。
在使用通义千问时，您可以将其作为聊天机器人、知识图谱编辑器、内容创作助手等应用的主体功能。通过与各种应用场景的深度融合，通义千问不仅可以为用户提供丰富多样的语言服务和应用体验，还可以推动各应用场景之间的数据交换和知识共享，从而更好地服务于人类社会的发展和社会进步。
Process finished with exit code 0