WhisperX on Ubuntu — 高精度タイムスタンプ付き音声文字起こしツール

音声ファイルを文字起こしすると、どうしてもタイムスタンプが「ざっくり数秒単位」になりがちです。WhisperX はそれを単語レベルの精度まで引き上げた、OpenAI Whisper の拡張ツールです。結論から言うと、pip install whisperx の1行で導入でき、実際に試したところ最新版 3.8.6 が入りました。

ただし Ubuntu 24.04 では、いきなり pip install するとエラーで止まります。本記事では docker run --rm ubuntu:24.04 と python:3.12-slim で実際に検証したインストール手順を、コマンドの実出力とともに解説します（2026-06-14 実測）。

目次

1. WhisperX とは？Whisper との違い
2. 動作確認済み環境（Ubuntu 22.04 / 24.04 実測）
3. インストール手順（Ubuntu 24.04）
4. 基本的な使い方
5. モデルの選び方
6. よくあるエラーと解決策
7. まとめ

WhisperX とは？Whisper との違い

OpenAI の Whisper（音声認識モデル）は高精度ですが、出力されるタイムスタンプは「文のかたまり単位」でしか付きません。字幕ファイルを作ったり、特定の発言タイミングを探したりしようとすると、精度が物足りないことがあります。

WhisperX はこの問題を解決するために作られた拡張ツールです。pip show whisperx で確認すると、Summary には 「Time-Accurate Automatic Speech Recognition using Whisper.」（時間的に正確な音声認識）とあり、作者は Max Bain、ライセンスは BSD-2-Clause です。内部では faster-whisper（CTranslate2 を使った高速推論エンジン）で転写を行ったあと、wav2vec2 モデルで音声と文字を単語レベルで再整合します。さらにオプションで pyannote-audio を使った話者分離（誰がいつ話したかの識別）も行えます。

これらは想像ではなく、実際に pip show whisperx の Requires: 欄に ctranslate2・faster-whisper・pyannote-audio が並んでいることから確認できます。

上の比較表のとおり、大きな違いは「タイムスタンプ精度」「推論エンジン」「話者ダイアリゼーションの有無」の3点です。特に単語レベルのタイムスタンプは、会議録や字幕作成で効いてきます。

会議録の文字起こしをしていると「この発言は何分何秒？」という確認が頻繁に発生します。WhisperX の単語タイムスタンプはそういうときに本当に助かります。

動作確認済み環境（Ubuntu 22.04 / 24.04 実測）

本記事のコマンドは、Docker 公式イメージで実際にバージョンを確認しながら検証しています。まず、Ubuntu 22.04 と 24.04 で apt が入れてくれる関連パッケージの候補バージョンを比較してみました。

上の実測データのとおり、Ubuntu 24.04 では python3-venv の候補が 3.12.3-0ubuntu2.1（＝Python 3.12.3）、python3-pip が 24.0+dfsg、ffmpeg が 7:6.1.1-3ubuntu5 でした。一方 22.04 は Python 3.10 系・pip 22.0.2・ffmpeg 4.4.2 と一世代古めです（docker run --rm ubuntu:{22.04,24.04} bash -c "apt-cache policy ..." で計測、2026-06-14）。

インストール手順（Ubuntu 24.04）

手順1：システムパッケージを更新する

手順2：ffmpeg と Python 環境をインストールする

WhisperX は音声の読み込みに ffmpeg を使います。先に入れておかないと、あとで FileNotFoundError が出ます。公式イメージには Python も入っていないので、ここでまとめて導入します。

上の ffmpeg version 6.1.1-3ubuntu5 は docker run --rm ubuntu:24.04 内で実際に apt install したあとの出力です（2026-06-14 実測）。

手順3：Python venv を作成する

手順4：WhisperX をインストールする

仮想環境を有効化したら、pip install whisperx を実行します。torch などの大きな依存をまとめてダウンロードするので、回線によっては数分かかります。

上のスクリーンショットは docker run --rm python:3.12-slim（Python 3.12.13 / pip 25.0.1）で pip install whisperx を実行した実測結果です。バージョンは 3.8.6、依存パッケージとして ctranslate2・faster-whisper・pyannote-audio・torch など12個が確認できました。python:3.11-slim（pip 24.0）でも同じく 3.8.6 が入りました（2026-06-14 実測）。

基本的な使い方

①基本的な文字起こし（CPU・日本語）

出力ファイルは --output_format で絞り込めます。字幕用なら srt、JSON で後処理するなら json が便利です。

②GPU 使用（CUDA・large-v3 モデル）

GPU 環境があれば --device cuda と --model large-v3 の組み合わせが最も精度が高くなります。

③話者ダイアリゼーション（複数話者の分離）

会議録などで「誰がいつ話したか」を識別したい場合は --diarize オプションを使います。ただし Hugging Face のアクセストークンが必要です。これは依存に含まれる pyannote-audio が、話者分離モデルを Hugging Face からダウンロードするためです。

モデルの選び方

WhisperX で使えるモデルは OpenAI Whisper と同じラインナップです。精度と速度・VRAM 使用量はトレードオフになります。

学習・開発用途であれば small モデルがバランスが良く、実用的な速度で動きます。本番品質が必要な場合は large-v3 が最善ですが、GPU VRAM が 10GB 前後必要になります。なお上の表の VRAM・速度はあくまで一般的な目安で、GPU 種別やバッチサイズで変動します。

よくあるエラーと解決策

① externally-managed-environment エラー

Ubuntu 24.04 で venv を作らずにシステム Python へ pip install すると、実際に次のエラーで止まります。これは想像ではなく、docker run --rm ubuntu:24.04 で再現した実物です。

原因：Ubuntu 24.04 以降ではシステム Python への pip install が禁止されています（PEP 668）。

解決策：エラーメッセージ自身が案内しているとおり、python3 -m venv ~/whisperx-env && source ~/whisperx-env/bin/activate で仮想環境を作成してから pip install を実行してください。

② FileNotFoundError: ffmpeg が見つからない

原因：ffmpeg がインストールされていません。

解決策：sudo apt install -y ffmpeg を実行してください。Ubuntu 24.04 では候補バージョン 6.1.1 が入ります。

③ CUDA out of memory

GPU の VRAM が不足しています。--model small に下げるか、--device cpu に切り替えてください。バッチサイズを下げる --batch_size 4 も有効です。

まとめ

• WhisperX は pip install whisperx で導入でき、実測で最新版 3.8.6 が入った（2026-06-14・Python 3.12 / 3.11 双方で確認）
• WhisperX 3.8.6 は torch・faster-whisper・pyannote-audio など12個のパッケージに依存する
• Ubuntu の公式 Docker イメージには python3 すら入っていないので、ffmpeg と合わせて apt install から始める
• Ubuntu 24.04 はシステム Python への直接 pip が PEP 668 で止まるため、venv が必須
• Ubuntu 24.04 の候補バージョンは Python 3.12.3 / pip 24.0 / ffmpeg 6.1.1 で、22.04 より一世代新しい
• 話者ダイアリゼーションには Hugging Face アクセストークンが必要

より処理の重い文字起こし（大量の音声ファイル、large-v3 での高精度処理）を行うには、GPU 付きの VPS や GPU クラウドサーバーを使うのが現実的です。手元の CPU だと large-v3 は1分の音声に数分かかることもあるので、本格運用なら GPU 環境を検討してみてください。