用 FunASR 实时语音转录替代 Whisper 离线转录

zhanghx0905 commented 2 months ago

例行检查

[x] 我已确认目前没有类似 features
[x] 我已确认我已升级到最新版本
[x] 我已完整查看过项目 README，已确定现有版本无法满足需求
[x] 我理解并愿意跟进此 features，协助测试和提供反馈
[x] 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 features 可能会被无视或直接关闭

功能描述

当前的系统使用 Whisper 进行离线语音转录，这种方式存在中文效果一般，延迟大的问题。为了保证语音转录的实时性，提高用户体验，建议将现有的 Whisper 离线转录替换为 FunASR 实时语音转录。FunASR 提供了高效的实时语音转录功能，能够在保证准确率的同时，大幅度减少延迟。

应用场景

会议转录: 在在线会议和网络研讨会中，实时转录能够让与会者及时看到讲话内容，便于记录和后续讨论。
实时客服: 实时转录客户的对话，提高客户体验。

相关示例

为了便于集成和部署，可以使用已经打包成容器的 FunASR 实时语音转录 API，参见 https://harryai.cc/post/realtime-funasr/

这是一个为 harryliu888/funasr-online-server:latest 编写的客户端脚本，实时获取麦克风输入并转录：

import pyaudio
import websocket
import json
import threading

# 配置参数
config = {
    "chunk_size": [5, 10, 5],
    "wav_name": "h5",
    "is_speaking": True,
    "wav_format": "pcm",
    "chunk_interval": 10,
    "itn": True,
    "mode": "2pass",
    "hotwords": "",
}

# WebSocket URL
ws_url = "ws://10.223.48.160:10095/"  # 替换为你的服务端URL

# WebSocket连接
def on_message(ws, message):
    print(f"Received: {message}")

def on_error(ws, error):
    print(f"Error: {error}")

def on_close(ws, w, e):
    print("Connection closed")

def on_open(ws):
    def run(*args):
        # 发送配置参数
        ws.send(json.dumps(config))

        # 初始化pyaudio
        p = pyaudio.PyAudio()
        stream = p.open(
            format=pyaudio.paInt16,
            channels=1,
            rate=8000,
            input=True,
            frames_per_buffer=1024,
        )

        print("Recording...")

        try:
            while True:
                data = stream.read(1024)
                ws.send(data, opcode=websocket.ABNF.OPCODE_BINARY)
        except KeyboardInterrupt:
            pass

        # 发送结束标志
        end_signal = {"is_speaking": False}
        ws.send(json.dumps(end_signal))

        stream.stop_stream()
        stream.close()
        p.terminate()

        ws.close()

    threading.Thread(target=run).start()

if __name__ == "__main__":
    websocket.enableTrace(False)
    ws = websocket.WebSocketApp(
        ws_url,
        on_open=on_open,
        on_message=on_message,
        on_error=on_error,
        on_close=on_close,
    )
    ws.run_forever()