VoxCPM1.5：面壁智能开源的Tokenizer-Free TTS模型，高拟真语音合成新突破
在人工智能快速发展的今天，语音合成技术作为人机交互的重要手段，正不断朝着更加自然、高效和个性化的方向迈进。VoxCPM1.5作为面壁智能开源的端到端文本到语音模型，凭借其卓越的性能和创新的技术架构，为语音合成领域带来了新的突破。
一、项目概述
VoxCPM1.5是一款新型的无标记（Tokenizer-Free）文本到语音（TTS）系统，它通过在连续空间中建模语音，克服了离散标记化带来的限制，实现了上下文感知的语音生成和逼真的零样本语音克隆。该模型基于MiniCPM-4语言模型构建，采用端到端扩散自回归架构，直接从文本生成连续的语音表示，通过层次化语言建模和FSQ约束实现语义与声学的隐式解耦，极大地提升了语音的自然度和情感传达能力。
（一）高保真音频生成
VoxCPM1.5支持44.1kHz的高采样率，能够保留更多高频细节，生成的语音在音色和情感表达上更接近真实人声，为高质量的语音克隆提供了有力支持。
（二）高效语音合成
模型的token生成速率提升至6.25Hz，计算成本降低，推理速度更快，实时因子（RTF）低至0.15，可在普通消费级GPU上实现低延迟的实时语音合成，适用于多种实时语音应用场景。
（三）零样本语音克隆
仅需3秒参考音频，VoxCPM1.5即可实现精准的语音克隆，无需额外训练，能够快速生成与参考音频高度一致的语音，捕捉到说话者的音色、口音、情感语调、节奏和语速等细微特征。
（四）上下文感知语音生成
模型能够根据文本内容自动调整语音的韵律和风格，生成更具表现力和自然感的语音，适应不同文本场景，为用户提供更加生动和自然的语音交互体验。
（五）深度定制能力
VoxCPM1.5支持SFT（全量微调）和LoRA（低秩适配）微调，用户可以根据自身需求，基于自己的数据训练个性化语音模型，满足特定场景下的语音合成需求。
（一）无标记（Tokenizer-Free）架构
摒弃传统TTS中依赖离散音素或声学标记的流程，直接以原始文本为输入，端到端映射至连续语音波形，避免了量化误差与信息损失，使语音合成更加自然流畅。
（二）扩散引导的自回归生成机制
融合扩散模型的渐进式去噪能力与自回归建模的时序连贯性，分阶段生成高质量语音信号，确保语音的连贯性和稳定性。
（三）多粒度语义-声学协同建模
集成MiniCPM-4大语言模型作为语义backbone，通过层级化表征学习，隐式解耦文本语义与语音声学特征，使语音生成更具语义理解和表达能力。
（四）FSQ约束机制
结合Flow Matching等先进训练策略，强化语音生成过程的稳定性与可控性，有效减少音频中的杂音和瑕疵，提升长文本语音生成的连贯性和流畅度。
（五）低延迟流式合成能力
实测实时因子（RTF）低至0.15，可在主流消费级GPU（如RTX 4090）上稳定运行流式语音合成任务，为实时语音交互提供了强大的技术支持。
（一）智能家居
VoxCPM1.5为智能家居设备注入了生动的语音交互能力。智能音箱、家电等设备借助其自然流畅的语音输出，能够更好地理解用户指令并给予清晰回应，提升用户的交互体验，让家居环境更加智能化和人性化。
（二）有声读物
在有声读物领域，VoxCPM1.5可快速将文字内容转换为高质量语音，生成的语音富有情感和韵律，仿佛真人朗读。这不仅提高了制作效率，还能为听众带来更加沉浸式的听觉享受，满足不同用户的阅读需求。
（三）语言学习
VoxCPM1.5的语音克隆功能可精准模仿不同语言的发音，为语言学习者提供标准的语音示范。通过与模型互动，学习者能够更直观地感受语言的韵律和语调，有效提升发音水平，增强语言学习的趣味性和实用性。
（四）游戏角色配音
针对游戏领域，VoxCPM1.5能够为游戏角色生成个性化的语音。无论是英雄角色的激昂台词，还是反派角色的阴险低语，模型都能精准还原，赋予角色更加鲜明的个性，增强游戏的沉浸感和代入感，提升玩家的游戏体验。
（五）品牌宣传
在品牌宣传中，VoxCPM1.5的声音克隆功能可生成品牌代言人的语音，用于广告和宣传视频。这种高度逼真的语音效果能够更好地传递品牌信息，增强品牌与消费者之间的情感连接，提升品牌的知名度和影响力。
（一）安装
通过PyPI安装VoxCPM1.5：
pip install voxcpm（二）模型下载（可选）
如果需要提前下载模型，可以使用以下命令：
from huggingface_hub import snapshot_downloadsnapshot_download("openbmb/VoxCPM1.5")
（三）基本使用
1. 非流式合成
import soundfile as sfimport numpy as npfrom voxcpm import VoxCPMmodel = VoxCPM.from_pretrained("openbmb/VoxCPM1.5")# 非流式合成wav = model.generate(text="VoxCPM is an innovative end-to-end TTS model from ModelBest, designed to generate highly expressive speech.",prompt_wav_path=None, # 可选：用于语音克隆的参考音频路径prompt_text=None, # 可选：参考文本cfg_value=2.0, # 语言模型指导值，值越高对提示的依赖越强，但可能效果越差inference_timesteps=10, # LocDiT推理步数，值越高结果越好，速度越慢normalize=False, # 启用外部文本归一化工具，但会禁用原生原始文本支持denoise=False, # 启用外部降噪工具，但可能会导致一些失真，并限制采样率为16kHzretry_badcase=True, # 启用重试模式，用于处理一些无法停止的坏案例retry_badcase_max_times=3, # 最大重试次数retry_badcase_ratio_threshold=6.0, # 坏案例检测的最大长度限制（简单但有效），可以根据语速慢的语音进行调整)sf.write("output.wav", wav, model.tts_model.sample_rate)print("saved: output.wav")
2. 流式合成
chunks = []for chunk in model.generate_streaming(text="Streaming text to speech is easy with VoxCPM!",# 支持与非流式合成相同的参数):chunks.append(chunk)wav = np.concatenate(chunks)sf.write("output_streaming.wav", wav, model.tts_model.sample_rate)print("saved: output_streaming.wav")
（四）命令行工具使用
安装完成后，可以通过`voxcpm`命令行工具进行语音合成。
1. 直接合成（单条文本）
voxcpm --text "VoxCPM is an innovative end-to-end TTS model from ModelBest, designed to generate highly expressive speech." --output out.wav2. 语音克隆（参考音频+文本）
voxcpm --text "VoxCPM is an innovative end-to-end TTS model from ModelBest, designed to generate highly expressive speech." \--prompt-audio path/to/voice.wav \--prompt-text "reference transcript" \--output out.wav \# --denoise
3. 批量处理（每行一条文本）
voxcpm --input examples/input.txt --output-dir outs# （可选）批量+克隆voxcpm --input examples/input.txt --output-dir outs \--prompt-audio path/to/voice.wav \--prompt-text "reference transcript" \# --denoise
VoxCPM1.5凭借其无标记的端到端架构、高效的语音合成能力、逼真的语音克隆效果以及强大的深度定制功能，为语音合成领域带来了新的突破。它不仅在技术上实现了创新，还在多个应用场景中展现出了巨大的潜力。随着技术的不断发展和优化，VoxCPM1.5有望在更多领域发挥重要作用，为用户提供更加自然、高效和个性化的语音交互体验。
GitHub仓库：https://github.com/OpenBMB/VoxCPM
Hugging Face模型库：https://huggingface.co/openbmb/VoxCPM1.5
点亮“关注”，设为“星标”，精彩不迷路！与你携手探索AI的无限可能，精彩内容持续更新！🚀