155. 「次世代先端的計算基盤に関する白書」について(2021/11/27)

次世代計算基盤検討部会中間取りまとめ というものが少し前にでていますが、これにちょっと気になる記述があります。 「2-(3) 計算科学、計算機科学技術の動向」の、9ページの最後あたりからで

  これまでに、学術界及び産業界の計算機科学分野の研究者を中心に行われて
  いる検討においては、電力消費量を「富岳」の開発目標と同程度と仮定した
  場合の 2028 年9の予測性能は、最も積極的な予測で「富岳」の性能の 3.37
  倍(メニーコア型システム)、33.5 倍(GPU 混載型システム)と予測されてお
  り(NGACI:Next-Generation Advanced Computing Infrastructure「次世代先
  端的計算基盤に関する白書」より引用)

異様に低い、というのは、GPU よりはメニーコアに分類されるであろう Sunway 26010Pro プロセッサは既に富岳の2倍程度を実現している ように思われるからです。そうすると、仮に Sunway 26010Pro が最先端に近い TSMC N7相当のプロセスを使っていた としても、2028年には N2 の次くらいは使えるわけで、4世代先、世代毎の電力削減 をちょっとひかえめに 25% としても、さらに3倍程度は電力性能があがります。

まあその、トランジスタ構造の変化もあるので本当にこんなに上がるのか？と いう気もしますが、26010Pro は 2.25GHz とかなり高いクロックで動作してお り、電源電圧は極端に低いわけではないと想像されます。そうすると、世代毎 にまだかなり電源電圧を下げることは可能であり、プロセスの進歩だけで3倍程 度の電力性能の向上は決して不可能ではありません。従って、プロセスの進歩 だけで 90GF/W は達成可能であり、アーキテクチャの進歩でさらに 1.5-2倍に して 140-180GF/W、富岳の 10-12倍が可能なところと思います。

もちろん、26010Pro のプロセッサコアはデータキャッシュをももたない極め て単純なもので、整数ベンチマーク等を実行した時の CPI は決して高くはな いですし、コヒーレントなキャッシュがあることが前提のコードでは 全く性能がでなくて、コア毎のローカルメモリやコア間の通信を明示的に 行なう必要があります。残念ながらこれは既存のコードからコンパイラが 自動的に行なうことは困難であることが「わかっている」と思います。

歴史的にも、CDC7600、Cray-2、さらには Sony PS3 とローカルメモリアーキ テクチャを採用したプロセッサは色々ありますが、継続して開発が続いた ことはありませんでした。

その意味では、 Sunway 26010 の後継である 26010Pro が同じアーキテクチャ を踏襲したのはコンピュータアーキテクチャの歴史では画期的といえます。 PEZY SC もローカルメモリを持ちますが、こちらはコヒーレントではないです が階層キャッシュはある、というものなのでより普通のプロセッサに近いです。

ちなみに、CPUで富岳の次にくるのは AMD EPYC で11月の Green500 では52位、 6.06GF/W にきています。ここからの外挿なら 50GF/W は妥当でしょう。

GPU はどうかというと N7 の A100 から10-12倍として 330-400GF/W ですから、 まあ妥当なわけですが、 MN-Core は 12FFC で既に 40GF/W を実現しています から、そっちを外挿するともう2倍、600-800GF/W です。そうすると、 プロセッサ開発の目標としてはさらにもうちょっと上、 1-1.5TF/W あたりを 目指すのでないと開発の意味がない、ということになるように思います。

次世代先端的計算基盤に関する白書 では、CPU、GPU についての「予測」が4章で行われています。

これらは基本的にCPUについては「IRDS Systems and Architectures の 2017 年版および2020 年版で予測されている 2028 年の CPU の性能値から主要な項 目の値を抜粋して作成したもの」と書いてあり、GPU については「NVIDIA 社の 過去 13 年間のハイエンド GPU の性能をもとに線形で外挿する」となってい て、外国の誰かがやったものと、半導体技術の問題を無視して単に外挿したも のになっていて、さらにそれではなんか低いね、というのでCPUの性能増加率 に合わせたものにしました、となっています(「そこで,より積極的な見積もり として, 4.1.1 項で示した 2028 年の CPU の性能予測値に現行のCPU と GPU の性能差を乗じることにより, 2028 年の GPU 性能の予測も行う」)

すみません、その、これに基づいて国家プロジェクトを云々するのであればも うちょっとちゃんと考えて欲しいと思います、、、、

ちょっと気になるのは、「NVIDIA 社の 過去 13 年間のハイエンド GPU の性能をもとに線形で外挿」してどうして 2028年に 24 TF になってしまったのかです。NVIDIA のGPUの FP64 性能をは 以下のようになっていて

 2008 M1060 (0.078)
 2011 M2090 0.666
 2012 K20X  1.31
 2013 K40   1.68
 2016 P100  5.3
 2017 V100  7.47
 2020 A100  19.5