NVIDIA GPU のテンソルコア性能をフルに引き出す
NVIDIA は同じシリコンから 2 種類のグラフィックスカードを販売しています。ゲーマー向けの GeForce と、ワークステーション向けのプロフェッショナル RTX A シリーズです。テンソルコアのハードウェアは同一ですが、GeForce 版は出荷時点で、FP16、BF16、TF32 の FP32 アキュムレーション演算に対する速度セレクタが半分のレートに設定されています。これはまさに、AI の学習、ファインチューニング、画像生成、非量子化推論のほぼすべてが使う精度です。gpu-unlock プロジェクトはこの制限を起動時に、純正 NVIDIA ドライバがデバイスに触れる前に解除します。改造ドライバも VBIOS の書き換えも不要で、NVIDIA が新しいドライバを公開してもやり直す必要はありません。
コンシューマー向け GeForce が半速で動く理由
この制限はハードウェアの欠陥でも、ドライバが決めていることでもありません。各 GPU はファームウェアと VBIOS ROM の中に隠された速度セレクタを持っています。コンシューマー向け製品ではこのセレクタが半分のレートにプログラムされており、テンソルコアはすべての命令を正しく実行するものの、特定の行列演算モードでは発行間隔が引き延ばされます。プロフェッショナル向けカードは同じシリコンにフルレートのセレクタ設定を載せています。これはファームウェアで実装された製品の差別化であり、同世代のワークステーション向けカードと比べて GeForce が不釣り合いに遅く感じられる原因でもあります。
gpu-unlock が制限を解除する仕組み
モジュールは起動のごく初期に initramfs のラムディスクから読み込まれます。ファームウェアのパラメータを読み取り、速度セレクタを半分のレートからフルレートへ切り替え、続いて PCIe のファンクションレベルリセットを発行して新しい設定でデバイスを再初期化します。純正 NVIDIA ドライバがカードにバインドするのはその後のことです。変更がドライバ初期化より前に行われるため、ドライバの更新後もそのまま維持されます。再適用が必要なバイナリパッチも、カーネルの新しいリリースごとに通常の再コンパイル以外の作業を伴う署名済みモジュールの再構築も、カード上に書き込まれた改造 VBIOS もありません。モジュールなしで起動すれば、GPU は純正カードと同じ挙動になります。
対応 GPU
開発と安定性検証の中心は RTX 30 シリーズ、とくに GA102、GA103、GA104、GA106 チップです。実験的な対応として、RTX 20 シリーズと RTX 40 シリーズの一部のデスクトップ用およびノート PC 用 GPU も含まれます。すでに制限がかかっていないプロフェッショナル RTX A シリーズなどは、外すべき制限がないため効果はありません。以下の表に現状をまとめます。
| 世代 | 代表的なチップ | 状態 |
|---|---|---|
| RTX 30 シリーズ | GA102、GA103、GA104、GA106 | 完全対応、主要ターゲット |
| RTX 20 シリーズ | TU106 など | 実験的対応 |
| RTX 40 シリーズ | デスクトップおよびノート PC 向けモデル | 実験的対応 |
| プロフェッショナル RTX A シリーズ | 同一シリコン、既定でフルレート | 変更不要 |
実測された性能向上
効果が現れるのは当然の場所、つまり密行列積です。RTX 3090 Ti では FP16 のスループットが約 87 から 118 TFLOPS 超へ、BF16 が約 87 から 157 TFLOPS へ、TF32 が約 42 から 82 TFLOPS 超へと向上します。対応するコンシューマー向けカード全体では、精度とモデル形状に応じて密な GEMM のスループットがおよそ 25 から 80 パーセント改善します。実用上は、大規模言語モデルのプレフィル高速化、ファインチューニングの時間短縮、画像生成ステップの迅速化、そして重みを INT8 に量子化せず BF16 や FP16 で保持する場合の余裕の拡大につながります。
| 精度(FP32 アキュムレーション) | 純正 TFLOPS | 解除後 TFLOPS | 向上率 |
|---|---|---|---|
| FP16 | 87 | 118 | 約 35 パーセント |
| BF16 | 87 | 157 | 約 80 パーセント |
| TF32 | 42 | 82 | 約 95 パーセント |
効果が出ない用途
解除の対象はテンソルコアの行列演算のみです。従来のラスタライズ描画によるゲーム、スカラー FP32 命令、INT8 量子化推論、動画デコードには何の変化もありません。これらの経路はメモリ帯域、キャッシュの挙動、あるいは固定機能ハードウェアによって制限されており、テンソルコアの発行間隔が原因ではありません。パイプライン全体がすでに INT8 に量子化されている場合、変化はまったく期待できません。演算強度よりもデータ移動が支配的な処理も同様です。
起動設定の注意点
順序が重要です。モジュールは NVIDIA ドライバがデバイスを占有する前に読み込まれる必要があり、実際には initramfs に追加し、プロプライエタリドライバ自身の早期読み込みフックに対して正しい順序を保証することを意味します。dracut、mkinitcpio、update-initramfs で initramfs を構築するディストリビューションでは扱いが異なるため、お使いの環境についてプロジェクトの手順に従ってください。Secure Boot 環境では、他のツリー外カーネルモジュールと同様に、登録済みの鍵でモジュールに署名する必要があります。成功を前提にせず、報告されるテンソルスループットを確認して結果を検証してください。
導入する価値はあるか
コンシューマー向け GeForce で BF16、FP16、TF32 を使って学習、ファインチューニング、画像生成を行うなら、この解除は最も費用対効果の高い性能改善のひとつです。実行時のコストはゼロで、ドライバ更新のたびに手間が増えることもありません。一方、主にゲームをしたり、動画をデコードしたり、INT8 量子化推論を回したりする場合は不要です。リポジトリのドキュメントを読み、自分のチップが対象か確認し、導入前後で計測して実際に何が得られたかを把握してください。
一緒に取り組みましょう
さらに詳しい情報やプロジェクトのヘルプ、またはアイデアの構築が必要ですか?
簡単な質問でもフルプロジェクトでも、お気軽にどうぞ。お問い合わせいただき、あなたのアイデアを一緒に実現しましょう。
お問い合わせ →