当前位置: 首页 > news >正文

ESP32利用大模型做聊天机器人

ESP32功能十分强大,不仅有强大的数据处理能力,还支持海量的传感器,还自带蓝牙和wifi。

利用手边有的esp32,复刻了别人的项目,还没来得及二次开发,感觉做作者还是很用心的,功能nice,带屏幕,带麦克风,带喇叭,对接迅飞语音识别和大模型,可以直接语音对话,也可以在线播放mp3,音质一般,可能和喇叭有关,初次研究esp32语音图像处理,对硬件还不是很了解。可以唤醒和设置命令,感觉可以替代语音模块。

硬件列表,ESP-WROOM-32、INMP441全向麦克风、MAX98357 I2S音频放大器模块、喇叭、1.8寸(128x160)RGB_TFT屏幕,一共大概三十多块,ESP32和屏幕是大头一共要二十多块,其他小部件几块一个。没壳,如果能找个打印的壳,出门手机开个热点就能带着聊天了。esp32如果有就能直接使用,不需要刻意买。要语音对话,麦克风是必需的,要让设置说话,MAX98357 I2S音频放大器模块、喇叭也是必须的,tft屏幕不要也可以,省十几块,就是调试和使用没屏幕显示错误,初次接触的出问题只能打串口看log。

代码挺完善,本地开发使用vscode配个esp-idf就可以了,下载使用pio-home,都是vscode可以直接配置的插件,配置好环境,自己申请讯飞的免费API,开通大模型和语音识别功能,把获得的appid,APISecret,APIKEY等三个参数配置到代码里,编译下载一气呵成。

软件代码:GitHub - Explorerlowi/ESP32_AI_LLM: 本项目使用esp32接入讯飞星火大模型(现已支持豆包、通义千问大模型(流式调用))实现语音对话聊天功能,支持语音唤醒、连续对话、音乐播放等功能,同时外接了一块显示屏实时显示对话的内容。

WIFI配置使用网页模式,也可以改代码把家里的wifi直接写进去。不修改代码esp32系统启动后会开启一个默认的热点,热点:ESP32-Setup,初始密码为:12345678,手机或者电脑加入热点,然后访问本地网址:http://192.168.4.1,这是esp32开启的一个本地服务,用来添加mp3和添加家里的wifi,完成退出esp32就使用家里的wifi上网了。

硬件接线:

麦克风:

  • VDD -> 3.3v
  • GND -> GND
  • SD -> GPIO22
  • WS -> GPIO15
  • SCK -> GPIO4

音频放大模块:

  • Vin -> VIN
  • GND -> GND
  • LRC -> GPIO27
  • BCLK -> GPIO26
  • DIN -> GPIO25

1.8寸OLED屏幕:

  • VDD -> VIN
  • GND -> GND
  • SCL -> GPIO18
  • SDA -> GPIO23
  • RST -> GPIO12
  • DC -> GPIO32
  • CS -> GPIO5

我新手,用了一块esp32拓板,原来的大佬用的面包板,效果还是很赞的,可以和对话机器人结合,值得研究一下,喜欢的朋友可以试试,有屏幕能显示开机过程。


文章转载自:
http://anaesthetist.tmizpp.cn
http://carmelite.tmizpp.cn
http://calf.tmizpp.cn
http://aerobomb.tmizpp.cn
http://chantable.tmizpp.cn
http://adeodatus.tmizpp.cn
http://cecum.tmizpp.cn
http://centralized.tmizpp.cn
http://bimotor.tmizpp.cn
http://brach.tmizpp.cn
http://astrophotometry.tmizpp.cn
http://choreatic.tmizpp.cn
http://alecithal.tmizpp.cn
http://birthday.tmizpp.cn
http://absolutism.tmizpp.cn
http://cegb.tmizpp.cn
http://balkanization.tmizpp.cn
http://bronco.tmizpp.cn
http://berkeleyism.tmizpp.cn
http://bottomry.tmizpp.cn
http://adi.tmizpp.cn
http://acetamide.tmizpp.cn
http://boxlike.tmizpp.cn
http://alienated.tmizpp.cn
http://cabstand.tmizpp.cn
http://atony.tmizpp.cn
http://cannelure.tmizpp.cn
http://birefringence.tmizpp.cn
http://cannelure.tmizpp.cn
http://biloquialism.tmizpp.cn
http://www.dtcms.com/a/12132.html

相关文章:

  • 2024年最强网络安全学习路线,详细到直接上清华的教材!
  • 【软考】磁盘的类型
  • 构建Spring Boot应用的微服务服务依赖管理
  • Jenkins服务安装配置
  • NoSql数据库 - Redis Cluster集群详解及案例实现
  • linux 云主机 pip 安装配置 letsencrypt certbot 为多个域名生成免费 https 证书实录
  • 小实战项目-第二章2.1-IIC协议讲解? 什么是软件IIC 什么是硬件IIC 有什么区别如何编写代码--这章节主要讲解软件IIC,下一章节讲解硬件IIC协议
  • SpringBoot-读取配置文件方式
  • 深入理解Java序列化:从入门到实践
  • nuxt3模拟手机验证码
  • Java算法之鸡尾酒排序(Cocktail Sort,或称为双向冒泡排序)
  • 进制数基础知识 与 位运算(基础版)
  • 在内核态使用 intel avx2 加速内存操作
  • 力扣2402.会议室 III
  • Spring八股文
  • Windows 下 RabbitMQ 服务无法重装(erlsrv 无法移除和禁用)问题
  • 基于my Batis优化图书管理系统(总)
  • 装饰器模式及应用【理论+代码】
  • 若依 Vue3的前后端分离系统管理 创建
  • 设计模式 16 迭代器模式
  • opencv/c++的一些简单的操作(入门)
  • 大数据处理从零开始————1.Hadoop介绍
  • splunk Enterprise 的HTTP收集器-windows
  • 【PLL】为什么 环路带宽是参考频率的1/10
  • MFC工控项目实例之十添加系统测试对话框
  • 《黑神话·悟空》是用什么编程语言开发的?
  • SQL-函数
  • HTML实现俄罗斯方块
  • 2024/8/30 英语每日一段
  • HTML <template> 标签的基本技巧