从单体 Python 到双 Go 微服务的架构演进构建高并发、低延迟的数字人交互后端一、项目背景沐光而行是一款基于 Live2D 的 AI 数字人交互平台核心能力包括语音识别ASR、智能对话Agent、语音合成TTS三大管线前身为纯 PythonFastAPI架构。随着用户增长和实时交互场景的复杂化原有架构暴露出三个核心瓶颈并发瓶颈Python 异步虽有改善但面对 WebSocket 长连接场景CPU 密集的协议解析成为阻力耦合严重ASR、TTS、Agent 逻辑与 HTTP 服务深度耦合难以独立扩展协议匮乏仅有简单的 HTTP REST 接口无法支撑语音流式的实时双向通信为此启动了双 Go 后端重构工程在保留 Python 核心引擎的同时用 Go 重建了代理网关层和 WebSocket 实时服务层。二、新架构总览┌──────────────────────────────────┐ │ Web 前端 (Next.js) │ │ Live2D 渲染 / embed.js 组件 │ └─────┬──────────────┬──────────────┘ │ HTTP/SSE │ WebSocket ▼ ▼ ┌───────────────────┐ ┌──────────────────────────┐ │ Go 网关层 (8880) │ │ Go WS 服务 (8881) │ │ digital-human- │ │ awesome-digital-human │ │ server │ │ │ │ │ │ • WebSocket 文本/二进制 │ │ • HTTP路由中间件 │ │ • 沉浸模式 (逐句TTS) │ │ • Agent SSE推理 │ │ • 会话管理心跳 │ │ • 安全层(认证限流) │ │ • 打断机制 │ │ • 静态资源服务 │ │ • SSE 兼容端点 │ └────────┬──────────┘ └──────────────────────────┘ │ 反向代理 ▼ ┌──────────────────────────┐ │ Python 核心引擎 (8881) │ │ _internal/digitalHuman/ │ │ │ │ • TTS 语音合成引擎 │ │ • ASR 语音识别引擎 │ │ • LLM 语言模型引擎 │ └──────────────────────────┘职责分离原则层级职责技术栈网关层路由分发、安全中间件、Agent SSE 推理、静态服务Go net/http实时层WebSocket 连接管理、语音管线、沉浸模式、会话状态Go gorilla/websocket引擎层TTS 合成、ASR 识别、LLM 推理Python 各类 SDK三、数据协议体系设计3.1 SSE 事件流协议Agent 推理event: CONVERSATION_ID data: conv_abc123 event: EXPRESSION data: {type:smile,confidence:0.9,duration:2} event: MOTION data: {type:nod,repeat:1} event: TEXT data: 你好很高兴见到你。 event: THINK data: 用户很热情我应该友好回应 event: DONE data:设计要点语义事件分离文本、思考、表情、动作各自独立事件前端可按需订阅渲染中文情感映射内建 91 个中文情感关键词 → 6 种表情微笑/生气/伤心/惊讶/害羞/冷漠动作关键词检测支持 20 种 Live2D 动作点头、摇头、鞠躬、挥手等3.2 WebSocket 统一协议文本模式— JSON 协议{ type: text, data: { content: 你好, conversation_id: conv_abc123, mode: immersive } }二进制模式— 语音管线协议┌──────────────┬──────────────┬──────────────────┐ │ Action(18B) │ Size(4B/BE) │ Payload (变长) │ └──────────────┴──────────────┴──────────────────┘Action 类型ENGINE_START→ASR_DATA→ASR_RESULT→TTS_RESULT→ENGINE_END3.3 沉浸模式Immersive Mode核心创新逐句 TTS 流式推送Agent 输出不等待全文结束而是按句子边界实时切分、即时合成实现接近真人对话的延迟体验Agent 流: 今天天气真好 [句边界] → 立即 TTS → 推送音频 非常适合出去玩 [句边界] → 立即 TTS → 推送音频 你打算去哪里呢 [完结] → 立即 TTS → 推送音频四、多智能体引擎系统支持 5 种 AI 后端通过 YAML 配置热切换引擎协议配置项Repeater回声复读无测试用OpenAI/v1/chat/completionsmodel, base_url, api_keyDify/chat-messages(streaming)api_server, api_keyCoze/v3/chat(SSE)token, bot_idFastGPT/v1/chat/completionsbase_url, api_keyAgent 注册中心采用单例模式启动时自动扫描_internal/configs/agents/目录下的 YAML 文件完成注册运行时可通过 HTTP API 动态查询引擎列表和参数。// 注册中心接口 type Registry struct { agents map[string]Agent default_ string } func (r *Registry) Run(ctx context.Context, input TextMessage) (-chan SSEEvent, error) func (r *Registry) List() []AgentInfo func (r *Registry) GetDefault() AgentInfo五、安全中间件体系通过security.yaml统一配置三层安全防护token: # Bearer Token 认证留空不启用 allow_origins: [*] # CORS 白名单 rate_limit: 0 # 每 IP 每分钟请求数0不限流中间件链请求 → RateLimiter(令牌桶) → CORS(Origin白名单) → Auth(Bearer Token) → 业务处理限流器令牌桶算法per-IP 计数每分钟清理过期桶CORS支持精确 Origin 匹配和通配符*鉴权可选的 Bearer Token空 token 自动跳过六、前端交互体系6.1 嵌入式组件embed.js v2.0script srcembed.js/script script window.sentioConfig { baseUrl: http://localhost:8880, appId: my-app, draggable: true, dragAxis: y, notification: { initial: 在吗, interval: 30000 } }; /script一行脚本即可将数字人气泡嵌入任意网站支持拖拽浮动气泡按钮脉冲动画 涟漪效果iframe 窗口加载数字人界面通知徽标、ESC 关闭暴露window.sentioAPI { open, close, toggle, setBadge, destroy }6.2 Web UINext.js SSR 导出基于 Next.js App Router静态导出为纯 HTML/JS/CSS由 Go 后端直接托管。通过overrides.css注入定制化 UI 美化353 行 CSS覆盖滚动条、聚焦环、按钮、输入框、卡片动画等全局样式。七、技术亮点总结维度技术选型收益并发模型Go goroutine channel单机万级 WebSocket 并发协议设计SSE WS 二元协议覆盖文本/语音全场景流式体验沉浸模式逐句 TTS延迟从秒级降至毫秒级引擎扩展插件式 Agent 注册新增引擎零代码改动安全防护中间件链认证/限流/CORS 可插拔前端集成embed.js 零依赖一行脚本嵌入任意网站会话管理Pipeline 状态机 心跳长时间对话不丢状态八、运行方式# 一线启动 双击 启动服务器.bat # 或手动 digital_human.exe # Python 引擎层 (端口 8881) server.exe # Go 网关层 (端口 8880)重构工程的核心理念用 Go 的高并发能力承载连接和协议用 Python 的生态优势保留核心引擎以清晰的协议边界实现分层解耦。这使得沐光而行数字人在保持原有能力的同时获得了面向生产环境的稳定性、可扩展性和实时交互体验。