全链路 AI 智能语音平台

基于 FreeSWITCH + mod_audio_fork + sherpa-onnx 构建的高性能本地化 VoIP × AI 语音中台。提供纯 Rust 语音底座、ESL 通话编排、智能外呼调度与原生 AI 决策中台。
# 部署官方预制 FreeSWITCH 容器化套件cd deploy/freeswitchtar -zxvf docker_fs_server.tar.gz && cd docker_fs_serverdocker compose up -d

AI Voice Platform

AI Voice Platform 是一套围绕 FreeSWITCH、mod_audio_fork、FunASR 与 sherpa-onnx 构建的高性能本地化 AI 语音平台。底层采用纯 Rust 语音核心与 TypeScript 呼叫控制引擎,覆盖实时流式 ASR(支持 2-pass 双流与 Zipformer)、离线 ASR(SenseVoice / Paraformer)、前置 VAD 流式代理、TTS 语音合成、ESL 通话编排、原生 AI 决策中台、智能外呼、坐席协同与多模态情绪分析。

💡 项目定位与预期声明

在查阅文档与体验系统前,请先了解本项目的定位与边界:

  • 技术框架与入门底座:本工程主要面向想做电话通信与智能语音业务的开发者与技术团队。它提供了一套完整的技术骨架与实践入门底座,帮助开发者跨越 FreeSWITCH 通话控制、全双工媒体流、流式 ASR/TTS 与大模型结合的高门槛,快速入门并构建自己的语音通信系统。
  • 并非成熟商业成品:本项目目前不是一套拿来即卖、拿来即用的标准化商业产品。未来随着体系完善可能会逐步向商业产品演进,但现阶段它是一套底层技术框架。现实中的电话通信业务千奇百怪(各行各业的业务流程、分支交互、质检规则与系统集成差异极大),很难用一套固定成品直接覆盖所有垂直场景。
  • 聚焦底层通信能力提供:项目的核心价值在于打通并提供开箱可用的核心通信能力与全链路闭环骨架(毫秒级开嗓打断、纯 Rust 本地语音识别/合成、ESL 通话编排、坐席盯屏协同等)。底层通信与音频流难题完全解决并内网自持,开发者可基于该底座自由二次开发,专注实现自身多样化的具体业务逻辑。
  • 独立工程与仓库维护:项目完整源码独立托管于 GitCode 私有仓库,持续保持独立工程的模块化迭代。

👉 关于源码授权、版本更新与避坑顾问支持,详见 商业说明。

打开最新工程文档

https://ai-voice.wangijun.com/

配置、API、部署、模块说明与版本行为统一在独立文档站维护,并直接随项目仓库更新。

项目入口

📖 最新工程文档

完整的架构设计、接口契约与部署手册。

👉 访问文档站

🎮 在线演示体验

在线体验环境与 WebRTC 软电话测试账号。

👉 进入演示环境

📺 视频实机演示

B 站官方空间,查看呼入与外呼交互录像。

👉 前往 B 站空间

核心能力

  • 纯 Rust 语音底层引擎:本地流式 ASR(FunASR 2-pass / Sherpa)、离线 ASR、LRU 缓存 TTS 与多模态情绪分析,语音数据完全内网自持。
  • 前置 VAD 流式代理:stream-vad-proxy 透明串接在音频流与识别引擎之间,提供毫秒级开嗓即断(speech-start),并支持直驱科大讯飞私有云 IAT 协议。
  • 高性能呼叫编排引擎:FreeSWITCH outbound ESL 通话编排,支持毫秒级 barge-in 打断、会议背景音(办公室拟真底噪)注入与打断保护。
  • 系统一(AI 语音通话底座):FreeSWITCH 运行看板、号码与业务路由、运行时动态配置、语音测试与 WebRTC 软电话控制台。
  • 系统二(智能外呼与协同):覆盖智能外呼调度、流程脚本编排、多 FreeSWITCH cell 池化分片、Redis 分布式租约;坐席工作台提供实时盯屏(客户/AI/坐席/主管多角色实时转写气泡)、主管协同(就地切换耳语/强插/挂断)、双阶段超时看门狗与坐席离会自退机制。
  • 原生内嵌 AI 决策中台:原生集成至系统二,提供独立「AI 策略中心」与 Playground 调试台,支持标准 OpenAI 兼容推理后端(Ollama / vLLM / GPUStack 等),消除独立微服务网络开销。
  • 丰富核心业务套件:平台业务扩展至 25 项,包含太平洋车险大模型电销对话(内置上下文防复述护栏与改号纠错)。

本 Wiki 保留内容

原配置、API、部署、组件和业务开发长文已经移除。技术事实以独立文档站和项目仓库为准。

站内搜索

没有找到内容!