牧野の公開用日誌

つっても、非公開のを別につけているわけではない。

Copyright 1999- Jun Makino

当面の予定

• 2006/10/xx UP 〆切 仮題「重力多体系と専用計算機」
• 2010/10/26 教授会議 9-11
• 2010/10/29 16 イノテック
• 2010/11/2 10 押野君
• 2010/11/5 15 Alchip
• 2010/11/8 16 東大基盤センター会議室
• 2010/11/9 15 NC 定例
• 2010/11/9 16 イノテック
• 2010/11/10 本郷専攻教育会議（13:30 - )
• 2010/11/15? 広島大学で2コマくらい講義
• 2010/11/16 13:30 防災委員会@第一会議室
• 2010/11/20 三鷹キャンパス停電
• 2010/12/6-8 プロジェクトウィーク
• 2010/12/8 午前JST 何か
• 2010/12/20-22 理論懇シンポジウム(京都)
• 2011/1/7 13-16 理論専門委員会予定
• 2011/1/11-12 CfCA UM(案)
• 2011/1/14 JST 何か
• 2011/1/18-19 機構連携研究会@名古屋
• 2011/1/28 本郷博士入試試験
• 2011/2/3-4 本郷修士論文発表会・専攻教育会議
• 2011/2/8 本郷専攻教育会議（13:30 - ）
• 2011/3/2 14:30- 情報処理学会何か
• 2012/8/15-17 Piet 研究会(tentative)
• 2012/8/20-31 IAU GA@北京

• 月曜 11 理論その他連絡会 (幹事会のあったあとの週)
• 月曜 13- 銀河形成ゼミ
• 火曜 16-17 DK 打ち合わせ(2010/4まで)
• 水曜 午前 総研大セミナー
• 水曜 13:20- 理論部コロキウム
• 木曜 10-12? CfCA 定例
• 木曜 14:30-16:30 駒場藤垣セミナー 4/23,5/7,5/21,6/4,6/25,7/9
• 金曜 午前(原則) 研究室セミナー
• 金曜 17-18? 研究室輪読セミナー
• どこ？銀河形成ゼミ
• 土曜 26-27 Dr. Knop Talks Astronomy (Popular Talk) SLURL

• 風邪だいぶ直った。

• 風邪引いた。ダウン。

• GTC での Cuda 3.2 についての講演資料。なるほど、今まで 230Gflops しかでてなかっ たのが 310 Gflops でるようになったのね。まあ、これはこれで確かに 1.5 倍だ。結局、 350Gflops/node はこの 310 Gflops/card が性能をほぼ決めて ると。
• i7 920 って、クロックのわりに消費電力が大きい、というより Intel がそういう設定にしている(クロックののわりに定格電圧が異様に高い)だけ なのね、、、なんだかびっくり。製品ラインアップの維持のためには 省エネとか関係ないと。なんか素敵な会社だ。

• NVIDIA CUDA Toolkit v3.2 RC2 Release Notes for Linux

  --------------------------------------------------------------------------------
  CUBLAS GEMM Related
  --------------------------------------------------------------------------------
  

  • Increased performance for GEMM kernels for non block multiple input sizes achieved through MAGMA licensed code. See Acknowlegements section towards the end of this release notes document.

    The performance of the CUBLAS routine CGEMM has been significantly improved on Fermi architecture for sizes larger than 300x300. Peak performance is reached when 'k' is a multiple of 16 and 'm' and 'n' are multiples of 64.

    Performance for ZGEMM has been improved on the Fermi architecture for sizes greater than 256x256. Peak performance is reached when 'k' is a multiple of 8 and 'm' and 'n' are multiples of 32.

    The performance of the CUBLAS routine DGEMM has significantly improved for the Tesla products based on the Fermi architecture (C20XX, S20XX, M20XX). The peak performance can be achieved for all transpose variations (NN, NT, TN, TT) when the following conditions are met: 'm' and 'n' dimensions are a multiple of 64, the 'k' dimension is a multiple of 16, ((m+n)*k) > (2*784*784). The performance of the CUBLAS routine SGEMM has also been significantly improved on Fermi architecture. The peak performance can be achieved for all transpose variations (NN, NT, TN, TT) when the following conditions are met: 'm' and 'n' dimensions are a multiple of 96, the 'k' dimension is a multiple of 16, ((m+n)*k) > (2*673*673).

  なるほど。これなら 60% はでるわね。というか、これで 2CPU+1GPU で 60% 以下しかでなかったとしたらそれはちょっと不可解。
• というわけで神頼みななにかを、、、
• 中国が 2.5Pflops。本当に Fermi なんだ。まあ、DGEMM 効率上がるならそれもありかな。 4.04MW なので、ノード当り 563W。電力当り性能 は 620Mflops/W 辺り。TSUBAME 2.0 は、絶対性能はともかく電力当りでは 倍は無理にしても 1.5 倍くらいはいきたいところだろうな、、、
• 上の「peak performance」が 515Gflops を意味しているとは限らないの ではという御意見をいただく。
• Tianhe-1a のノード当り性能はそういうわけで 350Gflops/node くら いで、Mole-8.5 のカード1枚での数字の 1.5 倍近くになっている。この1.5 倍というのはすごい数字。 HPL のチュー ニングが画期的に進歩したのか、単に Fermi がまともに動くようになったの かどっちなんだろう？まあ、でも、両方な気が。

• 中間発表2日め。自分の話は SPH ねた。

• 教授会議のあと理論部中間発表会。なんかかなり意識がなかった。
• ちょっと東のほうからやばそうな情報がきたので対応を相談。 まあ、なんとかならなくもないかな？とはいえそもそもどのへんかわかんないしね。
• と、これでは全く意味不明で、あとから自分で読んでもしばらくたつと 意味不明だけど、公開で書けるのはこんなところか。

• あ、今日は公開日の代休だった。そんなことはすっかり忘れてたぞ。つーか、ねえ。
• 2010/10/25 16 来客
• 2010/10/25 17 T2L
• Top 500 のサイトをみていたらあった、GPU-based cheap supercomputing coming to an end 何を今更わかりきったことを、という気がするけど、、、 Greg Pfister というのは RP3 の人であると。
• 要するに、 Intel と AMD の統合GPU が low end からかなり上のほう までの GPU マーケットを食べちゃうので、 NVIDIA の GPU 開発は成り立た なくなる、という話。NVIDIA だってそれがわかってるから、一縷の望みを かけて HPC に参入しようとしているわけで、Tesla を高い値段で売るのは 数がでなくても開発費を回収したいから という以外の理由はない(買ってくれる人がいるから、というのはある)。
• まあ、SGI がグラフィックスワークステーションから撤退して HPC で生き 残ったといえなくもないのと同じ道を進もうとしているわけだ。 Intel にし ても AMD にしても HPC ではおいしい商売をしたいので、デスクトップ 用の統合 GPU つきのチップが HPC 用に高く売っているマルチコアチップを 食べてしまうのを避けたい(AMD はそんなことを考えてる場合ではないかもし れないけど)。なので、 デスクトップ用は色々微妙になんか削って、 HPC 用 は寡占状態を維持できる最高の価格に設定する。つまりは(他にもっと強力な 会社がでてこなければ) NVIDIA は HPC 専業になって、運がよければ生かさず殺さず、 というあたりにいられるかもしれない。DARPA とかからお金もらえるよ うになれば大丈夫かな。

• "Killing remote processes...rcmd: socket: All ports in use" と かいうエラーがmpirun を起動する(というか、その前に rsh で色々処理を する)スクリプトででる。google すると、 xinetd.conf に書いてある制限を 変更しろ、ということなので、

  *** /etc/xinetd.conf    2010-10-25 02:15:16.000000000 +0900
  --- /etc/xinetd.conf.original   2007-03-15 12:49:07.000000000 +0900
  ***************
  *** 26,27 ****
  !       cps             = 250 10
  !       instances       = 350
  --- 26,27 ----
  !       cps             = 50 10
  !       instances       = 50
  

  という感じの変更をする。 default でなくて rsh のほうを変更するのが正し い？まあ、最近の計算機速いし。
• あ、、、366MHz と 400MHz がまざっちゃった。
• NEC の Linux べんりな動作情報 ナレッジベース。有用そう。 xinetd.conf のえらく詳しい説明があった。
• 北のほうから教えてもらったMole 8.5 での Linpack ポスタープロセスグリッドが PxQ = 16x120 という異 様な数字になっている。縦方向の通信時間や行交換のメモリアクセスが見える HPL では、 Q が大きいほうが有利になるのはわかるが、ここまで長方形だと GPU との通信で損しないのかな？まあ、 C-A*B を計算するのに C も GPU に 送ってるみたいだから、その辺の無駄が目立たないのか。 Nehalem 以降は PCIe の実効速度よりはるかに主記憶のバンド幅が大きいので、アクセラレータには A, B だけを送って、 C との減算をホスト側で行なうことで、通信負荷を大き く下げることができる。まあ、PCIe 双方向の通信で、片方向通信の2倍のスルー プットが安定してでるならそんなに大きな効果ではない、、、ということもな くて、Mole 8.5 の例だと行列の狭いほうの幅が 9216 で、NB の6倍しかない ので、送るほうのデータがかなり増えるはず。1ノードで 750Gflops だっ たのが 650 Gflops/node まで落ちただけだから大したことはないかな？
• もちろん、問題はそれ以前にそもそも1枚で 230、2枚でも 430 くらいし かでてないのは何故か？ということだけど、まあ、 HPL のコードをもってきて がんばってチューニングしました、という範囲ではそれくらいという気も。 DTRSM は GPU 使ってないっぽいとか、色々。高度な技術が必要かどうかはとも かく、アクセラレータで HPL で性能出すのに、新しいノウハウとかアルゴリズ ムは必要。

• 2010/10/23 天文台特別公開
• 公開日。天文台マダム氏とお話とか。

• セミナーは加瀬君、佐々木さん。
• HD6000 がでてきたわけだけど、これは Bart だから Cypress より何か上がるわけではないと。 Cayman のスペックはまだよくわからないのかな。
• 空調能力が絶対的に不足、、、まあ、できる範囲で。
• 2010/10/22 15 来客(BIOS)
• 2010/10/22 16 富阪さんと何か

• 重力波は誤報の可能性もありと、、、
• 公 募

  The International Center for Computational Science (ICCS) is looking for an experienced candidate to successfully contribute to ongoing research project in manycore high-performance computational astrophysics.

  だそうで。Qualification のところに(全部必須ではないにしても)勝手なこと が書いてある:
  • Required: PhD degree in computational science, physics, computational astrophysics, applied mathematics or a related technical field
  • Expertise in the design and implementation of simulation codes for computational physics/astrophysics
  • Expertise in broad range of algorithms
  • Demonstrated proficiency in C/C++, CUDA, and OpenCL
  • Demonstrated proficiency using parallel architectures along with MPI and OpenMP
  • Demonstrated ability to work both independently and collaboratively
  • Excellent oral and written communication skills
  そんな奴いねーよ。つーか、そんな人がいたら3年任期のポスドクはないよね。
• 2010/10/21 16 イノテック?
• 2010/10/21 19 平木さん
• だいぶ増えた。もうちょっといきたい。

• 松岡さんとこ以外に新しい情報がみあたらない Tianhe についての憶 測を以下に。
  • 4+1 なら Fermi ではなく HD5870 であろう。名目倍精度ピーク 544 Gflops だそうなので、 8000 カード。 8192 としてみる。
  • そうすると、4096ノードの Dual Xeon で、例えば 理論ピーク 70 Gflops の 5670 を使うと 573 Tflops、 5680 なら 655 Tflops。 1PF と いうには小さい気がするけど、 Tianhe-1 の構成と同じなのでこっちと思 うほうが 2ソケットのサーバに1カードと思うより自然。
  • 2PF とすると 1ノード 500Gflops なので、理論ピークが 1228 Gflops とすれば効率は 40%、ホスト CPU が 5670 だとするとホストの性能の3倍弱。 まあ、 5540 のままということもないだろう。
  • そうすると、消費電力はだいぶ増えそうだから、 Tianhe-1 のノード当り 600W を維持はできないだろう。 700W とすれば 710Mflops/W。QPACE に届かない。まあ、 2PF が 2.4PFだったりすると 860Mflops/W とかいう数字になるが、ちょっとなさそ う。
  • 松岡さんの推測が正しくて 8192 ノードだったとすると、ノード当り 250Mflops、500W くらいだろうから、 500Mflops/W
• アクセラレータが魅力あるシステム(例えば電力消費とか価格とか色々で)で あるためにはホスト単体に比べて性能をやはり 10倍程度にあげられないと苦 しい。3倍だと、電力性能比とか価格性能比ではなかなか2倍までいかないので。
• とはいえ、テクノロジー2世代分差があるとはいえ PowerXCELL に迫ると ころまで GPU でもくる、という話ではある。GRAPE-DR はホスト更新できれば 1.2Gflops/W くらいまではいけるので、 GPU では 28nm 世代と同等の電力当 り性能という感じ。
• 松岡さんによると「誤解が誤解を」なんだそうなので私が書いたのは色々間違って ると思われます。誰の何が誤解なのかは残念ながら明らかにされてません。
• あ、松岡さんかと思ったら、元は後藤さんなのか。
• 2010/10/20 神戸のような気がしてきた
• 今日は神戸で SS研科学技術分科会。発表は極めて面白かった。
  • JAEA の平山さんから、 HPCC での FX1 と Nehalem の比較データが でてきた。数字については資料が公開された時にみてもらうとして、かなりアレな数字だった。
  • 次世代のボードが展示されていた。水冷の割には実装密度が低いのがな んか不思議な感じ。
  • で、STE 研の荻野さんから、3DMHD コードでの名古屋の機械 (FX1 と HX600) の性能評価。こっちは、どっちでも実行効率 20% あたりという素晴ら しいもの。性能データから見ると1メッシュ点当り1000演算くらいしてるんだ けど、 3D MHD ってそんなに計算量多いの？1コアで1秒当り 1マイクロ秒くら いかかっている。そしたら数 KB くらいメモリアクセスする時間あるわけで、 全くバンド幅リミテッドではないですね。
  • まあ、それでも B/F が 0.1 くらいは必要。GRAPE-DR はオーダーとして は 0.01 くらい。
• 早野さんが、 LIGO がなんか見つけた、と書いてる。ほんまかいな。
• 40Tflops ってどこからでてきた数字なんだろう？

• 松岡さんの Twitter からお疲れ感が、、、

  TSUBAME2.0 は1ノード=3Fermiなので、より効率を出すのは難しい。それはGPU一般というよりはFermiやCPUチップセットの制限によるものだ。 TSUBAME2.0にとってLinpackは決して得意なベンチではない。でも我々は限界まで絞り出している。 約3時間前 webから

  合算5PＦでかつ1ノード=1Fermiという性能が出しやすい構成なのに、効率は40%強と大変悪い。我々のチームならばそのような構成ならば60%以上は軽く出せるが。。。まあそのあたりは経験の違いだから仕方がないだろう。 約3時間前 webから

  以前NUDT(中国防衛大)はAMDの GPUだったが、CPU で1PF, GPU で4PFにアップグレードされた、との話なので、多分古いシステムは（少なくともAMDのGPU)は捨てて、Dual Socket のサーバ8000ノードに8000枚Tesla 2050を装備したのだろう。 約3時間前 webから

  正確な数字はわからないが、数字を信じれば効率は無茶苦茶悪いが(TSUBAME2.0は遥かに良い効率が良いし、電力効率も比べ物にならなく良いだろうが）、力技という感じで中国らしくもやはりその数字を達成したのは大事なことだ。 約4時間前 webから

  中国 NUDt Tianheの1PF CPU, 4PF GPUのアップグレードがすでに行われてて、HPLで2PFを出したとの発表が。このままだとTop500で中国初一位。

  つまりは、 T2.0 は 50% いってないあたり、ということかな。Tylersburg 2 つの先に Fermi 3 個しかつけてなくてもそんなところか。まあ、そもそも DGEMM で 60% しかでない代物でどうやって60%以上を軽く出すのかみてみたい という気もしなくもない。まあ、ホスト側に (300Gflops に対して)あと 150 Gflops くらいある構成を想定するわけだから、並列動作させればいけなくもない？
• 本当に Radeon を Fermi に交換というアレな選択をしていてくれてれば 電力当り性能で負ける可能性はないんだけど、 5870 だとすると微妙なところ がやな感じ、、、Dual socket 4000ノードに2枚づつ 5870 で2PF とすると、ノー ド当り 500Gflops。元々、2560 ノード(3072 ノード？)で公称 1.5MW だったの で、600W か、、、まあ、これは 4870 アンダークロックしてたんだけど。 5870 の電力効率は、Fermi とは比べものにならないくらい良い。

  まあ、5870 が公称 188W、4870 が公称 160W だったわけで、 5870x2 だとす れば 600W に収めるのは多分不可能かな。

• 何故か nsswitch.conf が間違ってるノードがある。
• ノード数が前回と同じではいくら性能が上がってもまだ 500 にはいるかどうか微妙なので、あと ちょっと。ふう。
• 2010/10/19 13 台長室
• 2010/10/19 15:30-17:30 NINS 何か

• 2010/10/18 13:30 拡大防災委員会 第二会議室(10/21から変更)
• 2010/10/18 16 IBM
• Little の数字が更新できるデータはできたと。ふう。
• unpckhpd ですか。どもども。

• 現在の GRAPE-DR 用の HPL 測定コードは、行交換の速度を上げるために row-major で行列格納しているわけだが、そうすると再帰分解の途中ででてく る DGEMM では、column 側が長くて row 側が短いものがでてくる。それでも row 側が 64 もあれば速度は十分だけど、 8-32 くらいでは GotoBLAS を使っ ていても結構遅い。もちろんこれは GotoBLAS が悪いわけではなくて、 こんなところで使うのが悪い、という話。
• とはいえ、遅いのは嫌なので書き直すわけだが、色々やると 幅 8とか 16 で、1スレッドでサイクル当り 2.5 演算、4スレッドだと 4 演算くら いまでいく。特に 8 の時はだいぶ速くなった。でも、そこまで。で、4スレッド使っても理論ピークの 1/4 しかでないのは、結局私の 書いたアセンブラのせいではなくて、 TLB miss のせいっぽい、、、16 GB の配列をストライドアクセスすると、 HugeTLB 使っても結局 TLB ミスが 8000回起こるわけで、、、うーみゅ、問題は、これが起きないようにコードを 改修するのは、いわゆる、 straightforward (「難しいわけではないが大変め んどくさい」時に使う言葉)なわけだ。
• あれ、カーネル 2.6.27 以降だと 1GB ページなんてものが使えるの？そ れなら、、、でも、こっちで使っているカーネルは 2.6.26。
• あ、それ以前の問題として 1GB ページって AMD だけ？
• SSE3 だとレジスタの下位を上位にコピーするのは SHUFPD でなくて MOVDDUP を使えばいいのか。でも、上位を下位にコピーする命令はないと。 本当？ HADDPD なんていうよさげな命令があるけどスループットが 0.5 とか、 なんかいちいち使いにくい命令セットだ、、、AVX になってもレジスタ数は相 変わらず 16 だし。
• GRAPE-DR ではレジスタは32語だけど 4語単位のベクトル命令セットなの で、独立なレジスタとしては8語しかない。でも、一方のオペランドがスカラ な時は別に放送しなくてもそういう指定ができるのと、(まあ、クロックが遅 いからなんだけど)ローカルメモリとレジスタの読み出しレイテンシが同じなので 読み出しだけのデータはレジスタを消費しないのと、ベクトル命令としてみる と見かけ上レイテンシなしで直前の命令の結果がただちに利用できるので、 そんなにレジスタ沢山必要ない。SSEx だとレジスタは少ないし、L1 キャッシュ でもレイテンシ大きいし、演算のレイテンシもとっても大きいしでなんだか大 変面倒。
• Phantom GRAPE だって、中間結果が全部レジスタに入るように書く、と いうのが(他にも色々あるけど)必須だし。
• と、色々書いてしまうのは、ベンチマーク実行モードだから、、、
• 「生物学的製剤を使用しているリウマチ患者を長期高額疾病患者と認定し、特定療養費による医療費助成の対象としてください」という署名を集めているそうです。

• Core i7 の CPUID は 06_1AH で、行列乗算に関係するような命令のレイテンシとス ループットとは

    MOVAPD (L1), xmm 3   1
    MOVAPD (L2), xmm 14  1/3
    MOVAPD xmm, xmm  1   3
    SHUFPD           1   1
    ADDPD            3   1
    MULPD            5   1
  

  ということなんだそうで。

• セミナーは塚本君。
• 12時が〆切の書類の第1次稿を11時頃に回覧。なんか駄目である。
• GF 的には GTC というのはGlobal Technology Conferenceのことであると。
• 論文赤いれ一つ処理。気が付くと3つくらいたまっている。こういうことではいけない。
• というころでがんばってもう一つ処理。
• 事務室にいったら NEC からの巨大な箱が。来週末の特別公開では SX-9 の プロセッサチップのウェーハその他色々なものが展示されます。興味のある方 は三鷹キャンパス、南棟1階の CfCA スーパーコンピューター室まで。
• 今日が〆切の推薦書を書く。ふう。

• 2010/10/14 13 理研東京事務所

• 2010/10/13 16 イノテック

• 2010/10/12 15 NC定例
• 2010/10/12 16 理論スタッフ会議

• なかなか 600には届かないなあ、、、

• N-body training workshop by Sverre Aarseth (Cambridge), 10-15 October 2010. 元気だなあ、、、94年に 60 歳記念研究会をやった気がする。

• 日経の完成前倒し報道はデマらしいですが、、、
• 渋谷の東急第一駐車場が「アットパーク渋谷宇田川町」というものに変わっていた。丸善ジュンクの(というか東急での)買い物は依然有効。10時以降が1時間100円、平日最大が2000円。

• 午前はセミナー。服部君、船渡さん
• 書評 - 外国語の壁は理系思考で壊す
  杉本先生である。まあ、7ヶ国語を操る天才(小出東大教養学部長(当時)による) の主張なので、、、
• 2010/10/8 14 来客
• 2010/10/8 16 入札説明会
• ちょっと古いんだけど、たまたま見つけたので。ここから

  Stratix IVに対応するFPGA開発ツールは「Quartus II」のバージョン8.0。配線アルゴリズムなどの改良でコンパイル速度を高めた。「Stratix IVの最大規模品でも、コンパイル時間は4時間を切る。つまり1日の業務時間中に最低2回はコンパイルを実行できる」（同氏）という。

  そですか。
• 30分前には4号に渋滞なかったのに、今は外苑から先は×である。代官町までいかないといけないわけだが、、、
• 2010/10/8 18 HPCI 国立情報学研究所 12階 会議室
• 実際にリソース沢山使うわけではない人は気楽なもんだよな、、、

• 午前中は定例だったはず。
• 午後記憶喪失

• 何故かこれまで 2.4 GB/s しかでてなかったものが 5GB/s でるように なる。一体何故？そうなるとこっちでデータとりたいんだけど、 IB での2方 向通信とカード2枚の同時転送は共存できないんだよな、、、

• 2010/10/5 13 ぷらっとホーム
• 2010/10/5 16 イノテック

• 2010/10/4 11 連絡会
  12:30 くらいまでかかった。
• 2010/10/4 13:30 防災委員会@第二会議室
  1時間で終わる。私委員長だし。

• 家で作業。うーん。

• 休養日。
• 2010/10/2 10:30 渋谷。
  休養日なのに、、、某君とご相談。

• 1278164
• 研究室セミナーにあたっていたことを朝8時に認識する。

• 牧野のホームに戻る