当前位置: 首页 > news >正文

spring-ai-alibaba 多模态之音频

目前主干分支中新增了对音频文件的支持,原先仅支持视频和图片(可以参考spring-ai-alibaba 1.0.0.2 学习(十六)——多模态-CSDN博客)

使用时需要注意三点:

        Media media = new Media(MediaType.parseMediaType("audio/mpeg"),URI.create("https://dashscope.oss-cn-beijing.aliyuncs.com/audios/welcome.mp3"));;UserMessage message =UserMessage.builder().text(prompt).media(media).metadata(new HashMap<>()).build();message.getMetadata().put(DashScopeApiConstants.MESSAGE_FORMAT, MessageFormat.AUDIO);ChatResponse response = dashScopeChatClient.prompt(new Prompt(message,DashScopeChatOptions.builder().withModel("qwen-audio-turbo-latest").withMultiModel(true).build())).call().chatResponse();

1.需要在UserMessage的metadata中设置消息格式为AUDIO

2.需要使用支持音频的多模态模型,如qwen-audio-turbo-latest

3.需要开启多模态开关,withMultiModel(true)

ps:目前还未正式发布,使用需自行打包或使用1.0.0.3-SNAPSHOT(SNAPSHOT版本需修改仓库)


文章转载自:
http://chairbed.elldm.cn
http://assembled.elldm.cn
http://bustle.elldm.cn
http://allophonic.elldm.cn
http://antiauxin.elldm.cn
http://cabernet.elldm.cn
http://bluebutton.elldm.cn
http://alfie.elldm.cn
http://aire.elldm.cn
http://amoco.elldm.cn
http://chimurenga.elldm.cn
http://black.elldm.cn
http://almuce.elldm.cn
http://caac.elldm.cn
http://beatle.elldm.cn
http://bedtiime.elldm.cn
http://bitterish.elldm.cn
http://audition.elldm.cn
http://chandelle.elldm.cn
http://bumph.elldm.cn
http://cerebrospinal.elldm.cn
http://bumpety.elldm.cn
http://adenoids.elldm.cn
http://admensuration.elldm.cn
http://analphabetic.elldm.cn
http://abrade.elldm.cn
http://avariciously.elldm.cn
http://bruges.elldm.cn
http://austria.elldm.cn
http://cavendish.elldm.cn
http://www.dtcms.com/a/281150.html

相关文章:

  • 前端Vue.js面试题(4)
  • 超详细 anji-captcha滑块验证springboot+uniapp微信小程序前后端组合
  • 如何定义一个只能在堆上或栈上生成对象的类
  • Python初学者笔记第十二期 -- (集合与字典编程练习题)
  • U-Boot 中增加 GIC-400中断服务程序
  • Copula理论:覆盖相关性分析、极值相依性、回归建模、时间序列预测、贝叶斯网络,R/Python双语言实现+AI编程辅助(科研绘图与结果呈现)
  • Nestjs框架: 数据库多租户模式与动态模块初探
  • Oracle日期时间函数说明及与MySql区别说明
  • 同济医院R语言训练营第三期开讲!上交大张维拓老师主讲
  • RabbitMQ工作流程
  • SQL学习记录01
  • 15.图像 模板轮廓检测
  • 李白周游记50篇
  • linux-develop
  • 基于Alpine构建MySQL镜像
  • 第二阶段-第二章—8天Python从入门到精通【itheima】-129节(MySQL的安装)
  • 【前后端】Node.js 模块大全
  • 巨坑检查无误还报错is not mapped MappingException: Unknown entity:@Entity
  • DeepSWE:通过强化学习扩展训练开源编码智能体
  • 多层 `while` 循环中,`break` 的行为
  • ES2023 新特性解析_数组与对象的现代化操作指南
  • 二分查找栈堆
  • 【C语言进阶】字符函数和字符串函数的内部原理
  • “ModuleNotFoundError“深度解析:Python模块导入问题的终极指南
  • PHP语言基础知识(超详细)第二节
  • OSPFv3中LSA参数
  • dbever 导出数据库表的建表语句和数据插入语句
  • 嵌入式Linux:进程间通信机制
  • AJAX 开发中的注意点
  • ASRPRO系列语音模块(第十天)