Repository navigation
RUNBOOK に GB10 の GPU クロック上限(2,200 MHz)を足す - #13
Merged
Merged
Conversation
… GLM-5.3-Flash NVFP4 at TP=2 GB10 hosts are reported to power off under sustained GPU load, and a 2,200 MHz clock cap is the reported workaround. The page had the heat bands and the CPU pinning but not the cap: how to set it at each boot, what it does not do, and what it cost and lowered in four serves on v1.1.1.
-lgc のあとも Applications Clocks は元の値のままなので、decode 中の clocks.gr を見る。 oneshot の unit はドライバの再読み込み後に掛け直さない。1,800 MHz の報告も添える。 Co-authored-by: GarupanOjisan <GarupanOjisan@users.noreply.github.com>
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
何が変わるか
RUNBOOK に、長い CUDA 実行向けの GB10 GPU クロック上限(2,200 MHz)と、負荷中の実クロックで確認する手順を足す。
Closes #8
ベースは
main。v1.1.2 取り込みブランチ(cursor/sync-upstream-1.1.2-9631)へ試しにマージしても、RUNBOOK のハンクは重ならなかった。先に取り込みが入っても、この差分はそのまま載る。内容
6774777f(RUNBOOK: a GPU clock cap for GB10s, with what it cost and lowered for GLM-5.3-Flash NVFP4 at TP=2 ashhart/TensorFold#1110)を cherry-pick した。sudo nvidia-smi -lgc 300,2200と、oneshot のgb10-clock-cap.service(RemainAfterExit=yes、停止時はnvidia-smi -rgc)。GLM-5.3-Flash NVFP4、v1.1.1、TP=2 での測定もそのまま残してある。draft ありの decode は約 1% 遅く、draft: falseは約 1.5%、コールドプロンプトは 2–5% 遅い。トークン ID は同じ。GPU ピークは約 60 W(上限なしは 89–92 W)。最も熱い区画は 88.6–90.7 C(上限なしは 96.8–98.1 C)。nvidia-smi -qの Applications Clocks と Max Clocks は-lgcの後も古い値のまま残る。応答の decode 中にnvidia-smi --query-gpu=clocks.gr,power.draw,temperature.gpu --format=csv -l 2を見る(上記のサーブでは約 2,190 MHz)。oneshot ユニットは、ドライバの再読み込みや GPU リセットの後には上限を掛け直さない。その後は実クロックを見るか、ユニットが走るよう再起動する。sudo nvidia-smi -lgc 0,2200は 40.1 W、78 C、72.5 tok/s。sudo nvidia-smi -lgc 0,1800は 23.5 W、68 C、70.5 tok/s。ユニットが掛ける上限は 2,200 MHz のまま。検証
ドキュメントだけなので、ビルドとテストは走らせていない。
実機で確認すること
両方の GB10 で上限を掛け、decode、コールドプロンプト、ピーク温度を、上限ありとなしで比べる。負荷中の
clocks.grが約 2,190 MHz であること。ドライバを読み直したあと、実クロックが上限の外に戻っていないこと。