当前位置: 首页 > news >正文

AI大模型调用方法

本地化部署模型的调用

  • 通过命令行工具调用:许多 AI 模型部署工具如 Ollama、LM Studio 等提供了命令行界面。用户可运行特定命令启动模型服务,在命令行中输入问题或指令,模型会直接返回答案,最后可运行停止命令关闭模型服务。这种方式适合快速测试模型功能,无需编写代码。
  • 通过 API 接口调用:本地化部署的模型通常会提供本地 API 服务,需先启动 API 服务,确保模型服务已启动并监听本地端口。然后可使用 Postman 等 API 测试工具,在其中配置请求地址、方法和请求体,也可通过命令行工具 Curl 发送 HTTP 请求。模型会返回 JSON 格式的响应,包含生成的文本或其他结果。
  • 通过客户端软件调用:部分部署工具提供了图形化客户端,如 Ollama 客户端、LM Studio 客户端。以 Ollama 客户端为例,启动软件后,在界面中选择已部署的模型,输入问题或指令并点击 “发送” 按钮,即可获取模型返回的答案。
  • 通过集成开发环境调用:一些开发工具如 VS Code、PyCharm 等支持与本地 AI 模型集成。以 VS Code 为例,可安装支持 AI 模型调用的插件如 Cline、Roo Code,在插件设置中配置本地模型服务的地址,之后在代码编辑器中输入问题或指令,插件会自动调用模型并返回结果。
  • 通过 Web 界面调用:若部署工具提供了 Web 界面,如 Ollama 的 WebUI,用户可在浏览器中输入本地服务地址,在界面中选择已部署的模型,在输入框中输入问题或指令并点击 “发送” 按钮,模型会直接在 Web 界面中返回生成的结果。

调用云端大模型

  • 通过 AI 应用平台接入:可通过阿里云百炼、腾讯云灵犀等平台接入,这些平台通常提供直观的界面,无需编写复杂代码,能快速创建 AI 应用并集成到自己的项目中。
  • 通过 AI 软件客户端接入:使用 Cursor、Trae 等专业的 AI 辅助开发工具,这些工具通常提供更专业的开发辅助功能,可在工具中按照指引接入相应的大模型。
  • 程序接入:可使用 SDK 方式调用,即使用 AI 提供商的官方 SDK 进行调用,这种方式通常能提供最完整的功能支持。也可采用 HTTP 原生调用,直接使用 HTTP 请求调用 AI 服务的 REST API,这种方式适用性更广,几乎可在任何编程语言中使用。

相关文章:

  • FastGPT私有化部署完整指南
  • C++ 第四阶段 STL 容器 - 第一讲:详解 std::vector
  • 从代码学习深度学习 - 自然语言推断:使用注意力 PyTorch版
  • 基于STM32的毕业设计选题方向
  • 四大WordPress模板资源网站
  • 第二届 Parloo杯 应急响应学习——畸形的爱
  • 开发中bs,cs都是什么意思
  • Spring Cloud Gateway 实战:从网关搭建到过滤器与跨域解决方案
  • 应用层网络编程范式
  • NLP文本增强——随机删除
  • webpack+vite前端构建工具 - 10 开发模式
  • Vue2 第四节 脚手架的安装及目录说明
  • RabbitMQ面试题汇总
  • [面试] 手写题-数组转树
  • CNN, RNN, LSTM
  • AI智能体|扣子(Coze)搭建【沉浸式历史故事解说视频】工作流
  • 【unity游戏开发——网络】IP和端口相关的类——IPAddress和IPEndPoint
  • Java 中通信接口
  • [Linux] PXE
  • 各种常用的串口助手工具分享