アリババが公開した超低遅延の多言語音声認識モデル。高精度文字起こしに加え、感情認識や環境音検出を統合。
GitHubおよびModelScopeでApache 2.0ライセンスにて完全無償公開。手元のPCやサーバーで完全オフライン利用可能
SenseVoiceは、アリババ通義ラボが開発したオープンソースの高性能多言語音声理解基盤モデルです。非自己回帰型アーキテクチャの採用により、数時間の音声をわずか数秒でテキスト化する圧倒的な推論速度(Whisperの数倍以上)を実現。さらに最大の特長として、多言語(日本語、中国語、英語、韓国語、広東語など)の高精度な文字起こしにとどまらず、話者の感情(歓喜、落胆、怒りなど)や背景音楽(BGM)、笑い声、拍手といった「音響イベント」を自動検出してテキスト中にタグ付けするリッチテキスト認識能力を備えています。