当前位置: 首页 > news >正文

ESP32利用大模型做聊天机器人

ESP32功能十分强大,不仅有强大的数据处理能力,还支持海量的传感器,还自带蓝牙和wifi。

利用手边有的esp32,复刻了别人的项目,还没来得及二次开发,感觉做作者还是很用心的,功能nice,带屏幕,带麦克风,带喇叭,对接迅飞语音识别和大模型,可以直接语音对话,也可以在线播放mp3,音质一般,可能和喇叭有关,初次研究esp32语音图像处理,对硬件还不是很了解。可以唤醒和设置命令,感觉可以替代语音模块。

硬件列表,ESP-WROOM-32、INMP441全向麦克风、MAX98357 I2S音频放大器模块、喇叭、1.8寸(128x160)RGB_TFT屏幕,一共大概三十多块,ESP32和屏幕是大头一共要二十多块,其他小部件几块一个。没壳,如果能找个打印的壳,出门手机开个热点就能带着聊天了。esp32如果有就能直接使用,不需要刻意买。要语音对话,麦克风是必需的,要让设置说话,MAX98357 I2S音频放大器模块、喇叭也是必须的,tft屏幕不要也可以,省十几块,就是调试和使用没屏幕显示错误,初次接触的出问题只能打串口看log。

代码挺完善,本地开发使用vscode配个esp-idf就可以了,下载使用pio-home,都是vscode可以直接配置的插件,配置好环境,自己申请讯飞的免费API,开通大模型和语音识别功能,把获得的appid,APISecret,APIKEY等三个参数配置到代码里,编译下载一气呵成。

软件代码:GitHub - Explorerlowi/ESP32_AI_LLM: 本项目使用esp32接入讯飞星火大模型(现已支持豆包、通义千问大模型(流式调用))实现语音对话聊天功能,支持语音唤醒、连续对话、音乐播放等功能,同时外接了一块显示屏实时显示对话的内容。

WIFI配置使用网页模式,也可以改代码把家里的wifi直接写进去。不修改代码esp32系统启动后会开启一个默认的热点,热点:ESP32-Setup,初始密码为:12345678,手机或者电脑加入热点,然后访问本地网址:http://192.168.4.1,这是esp32开启的一个本地服务,用来添加mp3和添加家里的wifi,完成退出esp32就使用家里的wifi上网了。

硬件接线:

麦克风:

  • VDD -> 3.3v
  • GND -> GND
  • SD -> GPIO22
  • WS -> GPIO15
  • SCK -> GPIO4

音频放大模块:

  • Vin -> VIN
  • GND -> GND
  • LRC -> GPIO27
  • BCLK -> GPIO26
  • DIN -> GPIO25

1.8寸OLED屏幕:

  • VDD -> VIN
  • GND -> GND
  • SCL -> GPIO18
  • SDA -> GPIO23
  • RST -> GPIO12
  • DC -> GPIO32
  • CS -> GPIO5

我新手,用了一块esp32拓板,原来的大佬用的面包板,效果还是很赞的,可以和对话机器人结合,值得研究一下,喜欢的朋友可以试试,有屏幕能显示开机过程。

相关文章:

  • 2024年最强网络安全学习路线,详细到直接上清华的教材!
  • 【软考】磁盘的类型
  • 构建Spring Boot应用的微服务服务依赖管理
  • Jenkins服务安装配置
  • NoSql数据库 - Redis Cluster集群详解及案例实现
  • linux 云主机 pip 安装配置 letsencrypt certbot 为多个域名生成免费 https 证书实录
  • 小实战项目-第二章2.1-IIC协议讲解? 什么是软件IIC 什么是硬件IIC 有什么区别如何编写代码--这章节主要讲解软件IIC,下一章节讲解硬件IIC协议
  • SpringBoot-读取配置文件方式
  • 深入理解Java序列化:从入门到实践
  • nuxt3模拟手机验证码
  • Java算法之鸡尾酒排序(Cocktail Sort,或称为双向冒泡排序)
  • 进制数基础知识 与 位运算(基础版)
  • 在内核态使用 intel avx2 加速内存操作
  • 力扣2402.会议室 III
  • Spring八股文
  • Windows 下 RabbitMQ 服务无法重装(erlsrv 无法移除和禁用)问题
  • 基于my Batis优化图书管理系统(总)
  • 装饰器模式及应用【理论+代码】
  • 若依 Vue3的前后端分离系统管理 创建
  • 设计模式 16 迭代器模式
  • 山西太原一处居民小区发生爆炸,现场产生大量浓烟
  • 国台办:提醒相关人员不要假借去第三地名义绕道赴台
  • 总有黑眼圈是因为“虚”吗?怎么睡才能改善?
  • 呼伦贝尔市委常委、组织部长闫轶圣调任内蒙古交通集团党委副书记
  • 流浪猫给车主造成困扰,长春一小区拟投药应对?律师:此举欠妥
  • 国家卫健委:工作相关肌肉骨骼疾病、精神和行为障碍成职业健康新挑战