TITLE

CPUだけで動くリアルタイム多言語音声認識OSS「早耳」― GPU・クラウドAPI無しの字幕化はどこまで使えるか

投稿日：2026.10.12

早耳とは何か ― sherpa-onnxと量子化モデルがCPU実行を可能にする

早耳のコンポーネントはすべてCPU上で完結します。音声認識モデルをINT8量子化したONNX形式に変換し、ONNX推論ランタイムのsherpa-onnx上で動かすことで、GPU向けの学習フレームワーク(PyTorch)やCUDAドライバを一切必要としない構成にしています。メモリ使用量は既定で2GB未満に抑えられ、複数モデルを使い分ける際はLRU(最近使われていないものから破棄)方式で古いモデルをメモリから退避させます。日本語・英語のみに絞った--minimalオプションを使えば、必要メモリはさらに約1.1GBまで下がります。

ソースコードはMITライセンスで公開されていますが、モデルの重みはリポジトリに含まれておらず、インストール時に各提供元から個別に取得する形になっています。日本語から英語への翻訳モデル(mojicast-fugumt-ja-en-ct2)はCC BY-SA 4.0と、コード本体とは異なるライセンス条件が付くため、商用利用を検討する際はコードとモデルのライセンスを別々に確認する必要があります。

二段パス補正の仕組みと実測値

開発者が公開している実測値によれば、早耳は発話中に約0.5秒ごとドラフト字幕を更新し、日本語では話し終えてから約100ミリ秒で確定字幕を出します。この「ドラフト→確定」の間に挟まるのが二段パス補正です。一度出したドラフトをもう一度清書し直す処理で、この補正により日本語の文字誤り率(CER)は15.5%から12.0%に改善したと報告されています。英語についてもオプトインのv2ティアで、単語誤り率(WER)が10.0%から6.6%に改善するとされています。

実際のテレビ放送の日本語音声を使った評価では、文字誤り率3.8%という数値が示されています。ただしこの数値はリポジトリの自己評価であり、GitHubのREADME自身が独立した第三者検証を経ていないと明記しています。公開されている精度の数値は、採用を決める根拠としてそのまま使うのではなく、自社の音声で確かめるための出発点として扱うのが妥当です。

対応言語と周辺機能 ― 話者分離・翻訳字幕・OBS連携

早耳は日本語・中国語・韓国語・広東語・英語の5言語を専用モデルで処理し、欧州24言語にも対応します。これ以外の約1600言語については、Meta Omnilingual ASRへのフォールバックで処理する設計です。

話者分離は--speakersオプションでCAM++によるリアルタイムのタグ付けを行い、清書パスではpyannote/segmentation-3.0を使って再分離します。ただし同時に発話している2名の声を分離することはできない、という制約が明記されています。翻訳字幕は--translateオプションで日本語字幕を英語・中国語・韓国語・スペイン語などへリアルタイム翻訳できますが、中国語・韓国語への翻訳では数値や金額の表現に誤りが起こりうると開発者自身が注記しています。

このほか、認識しやすくするためのホットワード登録、用語の置換辞書、漢数字を算用数字に変換する機能、配信ソフトOBS向けのオーバーレイ表示、ブラウザで確認できるダッシュボード、WebSocket経由の音声入力、Windowsのスピーカー出力(ループバック)の直接取り込みにも対応しています。

小さなノートパソコンの画面にマイクのアイコンと緑色の音波が表示されている様子

導入のハードル ― ライセンスとOS検証状況を見ておく

早耳の開発・テストはWindows 11上で行われており、macOS・Linuxでも動作は見込まれるものの、エンドツーエンドのCIテストは未実施だとREADMEに明記されています。社内のLinuxサーバーやmacOS端末で本格運用する前に、自社の環境で実際に動かして確認する工程が要ります。

導入にはPython 3.10以上とffmpegが必要で、scripts/download_models.pyを実行すると全モデル(約3.1GB)または--minimal構成(約1.1GB)を取得できます。文字起こし自体はscripts/realtime_transcribe.pyで行い、--serveオプションを付けるとブラウザのダッシュボード(http://localhost:8833/dashboard)で確認できます。2026年10月12日時点でGitHub上のStarは388、Forkは27でした。

DX担当者が持ち帰れる視点 ― 評価の4つの軸

クラウドAIを新たに組まずに音声認識を試せるという早耳の立ち位置は、評価する側に次の4つの軸を要求します。

データの扱い: 処理がローカルで完結するため、社内会議のような外部に出したくない音声データを扱う場面での選択肢になりえます。
精度の裏取り: 公開されているCER 3.8%は開発者の自己評価であり、第三者検証を経ていません。自社の音声で実際に測り直してから判断します。
運用コスト: GPU・クラウドAPIの費用はかからない代わりに、動作確認・アップデート・障害対応は自社の負担になります。
対応環境の確認: README自身がmacOS・Linuxのエンドツーエンドテスト未実施と明記しているため、本番運用前に自社のOS・ハードウェアで動作を確認します。

試すだけなら、Python 3.10以上とffmpegを用意し、scripts/download_models.py --minimalで日本語・英語のみの約1.1GB構成を取得し、scripts/realtime_transcribe.pyで自社の会議音声を使って実際の文字誤り率を確認するところから始められます。

まとめ

早耳を「試せるか」と「使えるか」のどちらで判断するかの境界線は、自社の音声でCERを測り直した後にしか引けません。早耳のREADME自身が「CER 3.8%は独立した第三者検証を経ていない」と明記しているように、公開された数値をそのまま採用するか、自社の音声で確かめてから判断するかで、この種のローカル完結型OSSが実務に定着するかどうかが変わってきます。