电话AI呼叫系统怎么集成扣子AI Agent
扣子是新一代 AI Agent 开发平台。怎么让电话系统比如电话外呼,或者电话呼入,让电话语音和扣子平台开发的智能体进行语音对话呢?
扣子平台有 关于智能音视频概述的介绍,提供了 websocekt和rtc 2种接入方式。具体可以看 音视频接入方案对比 组要区别就是 RTC 支持视频,websockt支持语音消息和价格优惠点。
因为我们呼叫中心中间件是c开发的,直接对接weboscket协议更灵活,rtc必须使用扣子提供的SDK,不方便c语言集成,所以我们选择用webscoekt接口,根据协议对接,不使用扣子官的的SDK。
对接的具体原理就是,我在基于FreeSWITCH的mod_cti中间件,上面实现了一个通用推流和拉流的框架,然后在根据扣子的websocekt音频对接协议,抽象了一个连接层,把电话的音频流推送给扣子,把扣子平台返回的音频流 推送到电话。 这样就可以实现 电话和扣子的 AI Agent 语音通话了。然后根据 扣子 双向流式对话下行事件 把对话内容记录和以及放音时间点,录音时间点 记录下来,通话结束然后调用大语言模型进行通话小结和意向分类。
需要注意的点:
电话一直不说话 扣子平台会一直静默。需要cti程序对静音超时进行处理,比如播放提示音,或者向扣子平台发送请求,让扣子平台放音提醒用户说话。
更详细的介绍,可以 看我发的演示视频 https://www.bilibili.com/video/BV1x5J1zuEXm/