NVIDIA Nemotron Speech ASR：低延迟实时语音识别的开源利器

在语音交互日益普及的今天，自动语音识别（ASR）技术的重要性不言而喻。NVIDIA推出的Nemotron Speech ASR模型，以其卓越的低延迟和高精度性能，为实时语音识别领域带来了新的突破。

Nemotron Speech ASR是一个开源的低延迟实时语音识别模型，专为英语流式转录设计。它采用缓存感知的FastConformer编码器和RNNT解码器，能够处理16kHz单声道音频，输入块至少为80毫秒。该模型支持多种推理时间块配置，可在不重新训练的情况下灵活调整延迟与准确性之间的平衡，适用于语音助手、实时翻译、会议记录等多种场景。

（一）低延迟实时识别

Nemotron Speech ASR专为低延迟场景设计，单句转录锁定仅需24毫秒，端到端延迟控制在500毫秒以内。这种极低延迟的特性使其能够实时处理语音输入，几乎与人类的神经反应速度相当，为语音交互提供了即时响应的能力，极大地提升了用户体验。

（二）缓存感知架构

该模型采用缓存感知设计，通过维护编码器状态缓存，对已处理的音频特征进行存储。当新音频帧到来时，模型直接调用缓存，仅对新增部分进行计算，避免了重复计算。这一机制有效解决了传统流式模型在处理长语音时累积延迟的问题，显著提高了处理效率。

（三）多档延迟模式

Nemotron Speech ASR支持多种延迟模式，包括80ms、160ms、560ms和1.12s。用户可以根据具体应用场景的需求，在推理阶段灵活调整延迟模式，无需重新训练模型。这种灵活性使得模型能够适应从极致速度到高精度的多样化需求。

（四）高吞吐量与低运行成本

与传统流式模型相比，Nemotron Speech ASR在相同的GPU内存限制下能够处理更多的并行流。这种高效的并行处理能力显著提高了系统的吞吐量，同时降低了生产环境中的运行成本，为企业级应用提供了更具性价比的解决方案。

（五）原生支持标点和大小写

Nemotron Speech ASR模型原生支持标点符号和大小写，无需额外的后处理步骤。这一特性不仅提升了识别结果的可读性和实用性，还减少了因标点和大小写错误导致的误解，进一步优化了用户体验。

（一）缓存感知设计

Nemotron Speech ASR采用缓存感知架构，通过维护编码器状态缓存，存储已处理的音频特征。新音频帧到来时，直接调用缓存并仅计算增量部分，避免重复计算。这种设计有效解决了长语音识别中的累积延迟问题，显著提升了实时处理效率。

（二）增量计算机制

与传统流式模型不同，Nemotron Speech ASR基于缓存的激活值进行增量计算，不会重新编码历史数据。这种机制确保了模型在处理连续音频流时的高效性，进一步优化了延迟表现，适合低延迟语音交互场景。

（三）动态延迟调整

Nemotron Speech ASR支持多种延迟模式（如80ms、160ms、560ms、1.12s），用户可以在推理阶段通过参数灵活调整延迟，无需重新训练模型。这种动态调整能力使得模型能够根据不同的应用场景需求，灵活平衡延迟与准确性。

（四）高效并行处理

该模型采用优化的架构设计，能够在相同的GPU内存限制下处理更多并行流。这种高效的并行处理能力显著提高了系统的吞吐量，降低了生产环境中的运行成本，为企业级应用提供了更具性价比的解决方案。

（五）上下文感知解码

Nemotron Speech ASR通过可配置的上下文大小参数（如`att_context_size`），动态调整模型对上下文信息的利用。这种上下文感知解码机制进一步优化了识别准确率和延迟的平衡，提升了模型在不同场景下的适应性。

（一）实时语音助手

Nemotron Speech ASR为智能语音助手提供了低延迟的语音识别能力，能够即时响应用户的语音指令。其高效的实时处理能力确保了语音交互的流畅性，极大地提升了用户体验，适用于智能家居、智能车载等场景。

（二）游戏语音交互

在游戏场景中，Nemotron Speech ASR支持低延迟的语音聊天和指令识别，增强玩家之间的实时沟通和互动。其快速响应能力使得玩家可以无缝交流，提升游戏的沉浸感和互动性。

（三）实时翻译

该模型适用于多语言环境下的实时语音翻译，能够快速将一种语言的语音内容转换为另一种语言的文字或语音。其灵活的延迟调整能力确保了翻译的实时性和准确性，促进跨语言交流。

（四）会议记录

在会议场景中，Nemotron Speech ASR提供高精度的语音转文字功能，能够实时生成会议记录。其原生支持标点符号和大小写，提升了记录的可读性和实用性，帮助提高会议效率。

（五）直播互动

Nemotron Speech ASR为直播提供实时字幕功能，增强观众的参与感和互动体验。其低延迟特性确保字幕与直播内容同步，让观众能够实时理解直播内容。

（六）客服系统

在客服场景中，Nemotron Speech ASR能够快速识别用户语音问题并提供即时响应，显著提升客服效率和用户满意度。其高吞吐量和低运行成本也使得其在企业级应用中更具优势。

（一）安装依赖

apt-get update && apt-get install -y libsndfile1 ffmpegpip install Cython packagingpip install git+https://github.com/NVIDIA/NeMo.git@main#egg=nemo_toolkit[asr]

（二）加载模型

import nemo.collections.asr as nemo_asrasr_model = nemo_asr.models.ASRModel.from_pretrained(model_name="nvidia/nemotron-speech-streaming-en-0.6b")

（三）运行流式推理

使用NeMo的缓存感知流式推理脚本：

python examples/asr/asr_cache_aware_streaming/speech_to_text_cache_aware_streaming_infer.py \model_path=<your_model_path> \dataset_manifest=<dataset_manifest> \batch_size=<batch_size> \att_context_size="[70,13]" \  # 调整右上下文：0、1、6或13output_path=<output_folder>

输入要求：单声道16kHz音频，最小持续时间为80毫秒。

输出：英文文本，包含标点符号和大小写。

NVIDIA Nemotron Speech ASR凭借其低延迟、高精度和灵活的延迟调整能力，为实时语音识别领域提供了强大的技术支持。无论是在语音助手、实时翻译还是会议记录等场景中，它都能显著提升用户体验和系统效率。

Github仓库：https://github.com/NVIDIA-NeMo/NeMo

HuggingFace模型库：https://huggingface.co/nvidia/nemotron-speech-streaming-en-0.6b

点亮“关注”，设为“星标”，精彩不迷路！与你携手探索AI的无限可能，精彩内容持续更新！🚀