TOPIC · LEVEL 3
KVキャッシュ
2関連ニュース
0関連企業
📰 関連ニュース
KVキャッシュの仕組みと経済性、推論コストを決める式を検算する
自己回帰の逐次生成で過去のキーとバリューを再利用できる原理、M_KV = 2LTH_KV D_h b の式、MHA・GQA・MQA・MLA の差、PagedAttention、プレフィックスの再利用、退避と量子化まで33ページの手引きを全て書き起こし、API の価格表・SEC決算・EDINET・e-Stat・FRED で資資金の流れに接続する
KVキャッシュ75%減は最適化ではない、Kimi Linearの3対1設計と電力の関係
4層に1層しか従来型の注意機構を置かないという層構成が、75%という数字をそのまま生む。1.4兆トークンで条件を揃えた比較の中身と、生成時間が6.3倍速くなっても電力需要が6分の1にならない理由を、開示と公的統計で測る