当前位置: 首页 > news >正文

openai-whisper-asr-webservice接入dify

openai-whisper-asr-webservice提供的asr的api其实并不兼容openai的api,所以在dify中是不能直接添加到语音转文字的模型中,对比了下两个api的传参情况,其实只要改动一处,就能支持:
openai兼容的asr调用中formdata中音频文件是file=XXX这样的,而openai-whisper-asr-webservice提供的asr的api中formdata中音频文件是audio_file=XXX这样的。感觉使用openresty的lua简单处理一下改formdata中的信息转发到后端就可以搞定,折腾了半天没有进展 😦 只好先用nodejs做个express服务来转发下,效果是ok的。

const axios = require("axios");
const fs = require("fs");
const FormData = require('form-data');const express = require("express");
const app = express();const multer = require("multer");
const uploader = multer({ dest: 'uploads/' });const asrurl="http://127.0.0.1:9000/asr?output=json"app.post("/v1/audio/transcriptions", uploader.single("file"), (req, res, next)=> {let formData = new FormData();formData.append('audio_file', fs.createReadStream(req.file.path));axios.post(asrurl, formData, { headers: { 'Content-Type': 'multipart/form-data' }}).then(resp=>{ console.log("success"); console.log(resp.data); res.json(resp.data);}).catch(e=>{ console.log(e.response.data.detail); });});var server=app.listen(9100,()=>{console.log("openai_whisper_asr API 启动 ");});

这样可以在dify中添加openai兼容模型,选择speech2text模型,模型名称随便填,API endpoint URL
填 http://ip:9100/v1

相关文章:

  • 在Ubuntu18.04下搭建SadTalker让图片开口说话
  • Python爬虫实战:研究Crawley 框架相关技术
  • MIPI摄像头linux驱动开发步骤及说明
  • SpringCloud Alibaba微服务-- Sentinel的使用(笔记)
  • 【部署】如何离线环境创建docker容器执行python命令行程序
  • MongoDB大数据量的优化——mongoTemplate.stream()方法使用
  • 安装openresty使用nginx+lua,openresty使用jwt解密
  • 第33节:迁移学习与模型微调策略
  • 在mobaxterm下面执行shell脚本报错
  • GIM发布新版本了 (附rust CLI制作brew bottle流程)
  • Security
  • 基于python,html,echart,php,mysql,在线实时监控入侵检测系统
  • 6.12.有向无环图描述表达式
  • Python实现Web请求与响应
  • Antd中Upload组件封装及使用:
  • 矩阵短剧系统:如何用1个后台管理100+小程序?技术解析与实战应用
  • CUDA加速的线性代数求解器库cuSOLVER
  • 基于系统整合的WordPress个性化配置方法深度解析:从需求分析到实现过程
  • LeetCode[222]完全二叉树的节点个数
  • 水库大坝、坝肩混凝土面板变形及岸坡位移多断面多测点安全监测新途径——变焦视觉位移监测仪
  • 临邑建设局网站/淄博seo网络公司
  • 鞍山创网站怎么创/淘宝引流推广平台
  • 房产网站排行/郑州百度推广外包
  • xv10相同网站/网络事件营销
  • 给自己做的网站换首页/河北seo推广公司
  • 做网站几个步骤/百度推广服务费一年多少钱