AI推論ベンチマーク指標

なぜ指標が重要か

LLM推論の最適化では、「速い」の意味が複数あります。大会のスコアが総throughputだけなら高concurrencyに寄せる戦略が強くなります。一方で、実サービスの会話体験ではTTFTやTPOTが重要になります。

メモ上の議論でも、「高concurrencyで総throughputは上がるが、1リクエストあたりのtoken生成速度が落ちる」という懸念が出ています。

基本指標

指標	読み方	意味
Throughput	スループット	単位時間あたりの処理量。tokens/sやrequests/sで表す
TTFT	Time To First Token	request開始から最初のtokenが返るまでの時間
TPOT	Time Per Output Token	出力token 1個あたりにかかる時間
ITL	Inter-Token Latency	token間の待ち時間。TPOTと近い意味で使われることがある
Latency	レイテンシ	request全体の応答時間
p50/p95/p99	percentile	中央値、遅い5%、遅い1%を見る指標
ISL	Input Sequence Length	入力token数
OSL	Output Sequence Length	出力token数
Concurrency	並行数	同時に処理するrequest数

ベンチマークで固定すべき条件

条件	理由
ISL/OSL分布	prefill/decodeの負荷比が変わる
concurrency	throughputとlatencyのtrade-offが変わる
request count	少なすぎると揺らぎが大きい
warmup	CUDA graph、cache、JITなどの初回コストを分離する
streaming有無	TTFTやITLの測り方が変わる
sampling設定	出力長やEOSで結果が変わる
ignore_eos	固定長出力ベンチでは便利だが、現実の出力分布から外れる可能性がある

Dynamo/AIPerf

Dynamoのbenchmarks/README.mdでは、Dynamo deploymentの測定にAIPerfを使う例が示されています。例では、--concurrency、--request-count、--streamingなどを指定してprofileし、concurrency sweepでPareto分析を行う流れです。

大会でDynamo/AIPerfがそのまま使われるかは未確定ですが、指標の考え方としては有用です。

チーム測定メモ: Qwen3-30B concurrency sweep

2026-06-26のAIチーム共有スライドQwen3-30Bプロファイリング.pptxでは、Qwen3-30Bに対してconcurrencyを1、2、4、8に変えた初期結果が共有されました。

concurrency	output TPS	QPS	TTFT p50	E2E latency p99	success
1	168.1	1.313	54 ms	764 ms	100%
2	308.7	2.412	56 ms	879 ms	100%
4	557.6	4.357	57 ms	992 ms	100%
8	864.3	6.753	102 ms	1,091 ms	100%

読み取り:

concurrency 8でoutput TPSは約5.14倍になったが、理想的な8倍には届いていない。
concurrency 4まではTTFT p50が54msから57msでほぼ横ばい。concurrency 8では102msまで悪化した。
P99 latencyはconcurrencyを上げるほど増加した。総throughputとtail latencyのtrade-offを見る必要がある。
GPU平均使用率は89.6%、GPUメモリ使用量は86.2GiB/95.8GiB（約90%）だった。次のsweepではOOMやKV cache不足に注意する。

この結果は初期測定メモであり、モデル、データセット、入力長、出力長、request count、warmup、生成パラメータを揃えて再測定する必要があります。

最小の比較表

実験結果は最低限この形で残します。

experiment	change	concurrency	ISL	OSL	TTFT p50	TPOT p50	output tok/s	req/s	error rate	notes
baseline	none

APAC-HPC-AI