次のとおり物品の導入を予定していますので、当該導入に関して資料等の提 供を招請します。　　　　　　　　　　　　　　　　　　　　　　　　　　　 　平成　２１　年１月　１６　日　　　　　　　　　　　　　　　　　　　　 　　　　　　　　国立大学法人東京工業大学　　　　　　　　　　　　　　　 　　　　　　　　　　　事務局長　吉川　　晃　　　　　　　　　　　　　　 ◎調達機関番号　４１５　◎所在地番号　１３　　　　　　　　　　　　　　 ○第１号　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 １　調達内容　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　（１）　品目分類番号　１４　　　　　　　　　　　　　　　　　　　　　 　（２）　導入計画物品及び数量　　　　　　　　　　　　　　　　　　　　 　　　クラウド型グリーンスーパーコンピュータ　一式　　　　　　　　　　 　（３）　調達方法　借入　　　　　　　　　　　　　　　　　　　　　　　 　（４）　導入目的　　　　　　　　　　　　　　　　　　　　　　　　　　 　　　本システム（総称ＴＳＵＢＡＭＥ２）は、本学学術国際情報センター（ ＧＳＩＣ）が２００６年４月１日に設置・運用を開始し、２年間に渡り我が国 最速となったスーパーコンピューティング・キャンパスグリッド基盤システム （総称「みんなのスパコン」ＴＳＵＢＡＭＥ１）のソフトウェア・運用・広範 なユーザベース等の資産を生かし、我が国初のペタフロップス級のスーパーコ ンピュータを目指すものである。また、今回は学内に対しては単なる研究用だ けでなく、全学教育や種々の学内サービスのホスティングを行い、学外に対し ては全国共同研究・共同利用の基盤センターとしての我が国のリーディングス ーパーコンピュータとして、企業利用を含み広くそのサービスを提供するもの である。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　（５）　導入予定時期　　　　　　　　　　　　　　　　　　　　　　　　 　　　平成２２年度４月以降　　　　　　　　　　　　　　　　　　　　　　 　（６）　調達に必要とされる基本的な要求要件　　　　　　　　　　　　　 　　　現在本センターが使用しているスーパーコンピュータＴＳＵＢＡＭＥは 、ｘ８６―６４命令セットを有するＯｐｔｅｒｏｎベースのサーバ群ＳｕｎＦ ｉｒｅ　ｘ４６００（１６ＣＰＵコア）が６５５ノード（総計１０４８０ＣＰ Ｕコア）、そのうち３６０ノードにはＣｌｅａｒＳｐｅｅｄアクセラレータが 挿入されており、４２ノードのＳｕｎＦｉｒｅ　ｘ４５００を含む１．１ペタ バイトのストレージシステムらが全てＩｎｆｉｎｉｂａｎｄネットワークによ って相互結合されており、約８０ＴｅｒａＦｌｏｐｓのピーク性能を誇る。各 計算ノードではＳｕｓｅ　Ｌｉｎｕｘ　１０が動作し、Ｓｕｎ　Ｎ１ＧＥによ り資源制御が行われている。また、毎年別システムではあるものの、ストレー ジやＧＰＵなどが追加され、センターのシステム全体として強化が行われてい る。ＴＳＵＢＡＭＥ２はＴＳＵＢＡＭＥ１の基本的な構成を踏襲し、今までの ユーザのプログラムがほぼ全て再コンパイルなしに動作し、かつホスティング サービスなどのサービス群もそのまま継続されることを必要条件とする。のみ ならず、全学の教育システムのバックエンドとしても動作し、教育用アカウン トと研究用アカウントの統合を行う基盤システムとする。ＴＳＵＢＡＭＥ２は 、ＴＳＵＢＡＭＥ１に加え、以下のような基本技術要件を備える：（１）ＧＰ Ｕ型アクセラレータによる１ペタフロップ以上の演算性能の確保とコモディテ ィＨＰＣ環境との連続性の確保　（２）「グリーンスパコン」として、冷却系 を含む省エネ設計および運用によるＴＳＵＢＡＭＥ１と同レベルのエネルギー 消費量の維持　（３）「クラウド型スパコン」として、ＬｉｎｕｘおよびＷｉ ｎｄｏｗｓ　ＨＰＣという二つ以上のＯＳの選択肢を含む、動的なプロビジョ ニングを行える資源配分やチェックポイント・マイグレーション・仮想化機構 さらに、アプリケーションやユーザによって異なるＴＳＵＢＡＭＥ２は、ＣＰ Ｕの命令セットおよびＧＰＵの種類　　　　　　　　　　　　　　　　　　　 　　を同一とするも、異なるＣＰＵ・ＧＰＵ数やメモリサイズを有する３つの クラス（ｔｈｉｎ，　ｍｅｄｉｕｍ，　ｆａｔ）の計算ノード群によって構成 される。全てのノードにおいては同バージョンのＬｉｎｕｘおよびＷｉｎｄｏ ｗｓ　ＨＰＣが動作し、相互にバンド幅８ＧＢｙｔｅ／ｓ以上でかつ１μｓ以 下の低レーテンシな相互結合網により結合され、かつアクセラレータなどが装 備されている同一のプログラム実行環境でなくてはならない。Ａ．全計算ノー ド（Ｔｈｉｎ，　Ｍｅｄｉｕｍ，　Ｆａｔ）共通仕様　（ａ）ノード内ではＯ ｐｅｎＭＰ，　ＭＰＩによる分散並列演算を提供すること。（ｂ）ノード内の 全てのＣＰＵは、ｘ８６―３２およびｘ８６―６４ビットの命令体系（ＩＳＡ ）を有すること。（ｃ）単体のＣＰＵコア性能は、ＳｐｅｃＩＮＴ２００６（ ｐｅａｋ）で２０．０、ＳｐｅｃＦＰ２００６（ｐｅａｋ）で２３．０以上で あること。（ｄ）ＧＰＵアクセラレータの性能は、単精度のピーク性能が１． ５ＴｅｒａＦｌｏｐｓ、倍精度が５００ＴｅｒａＦｌｏｐｓ程度以上であるこ と。（ｅ）ＧＰＵアクセラレータはＣＵＤＡ，　ＯｐｅｎＣＬなどの広く普及 し、かつ一般的な並列アルゴリズムが容易かつ効率よく実装できる言語が提供 されること。（ｆ）ＲＡＩＤ０構成が可能なＳＳＤあるいは相当のＩ／Ｏ機能 を有するフラッシュメモリを備えること。そのノード当たりの総容量は５００ ＧＢ程度以上、合算リード性能が４００ＭＢ／ｓ、ライト性能が３００ＭＢ／ ｓ以上であること。（ｇ）８ＧＢ／ｓ以上のバンド幅のネットワークを備える こと。ネットワーク線がＤｕａｌ　ｒａｉｌ構成以上の場合は、トランキング などによる同時利用によって８ＧＢ／ｓ以上の達成が可能であること。各ｒａ ｉｌに接続するＰＣＩ―ｅｘｐｒｅｓｓ　Ｉ／Ｏはそれぞれのｒａｉｌの理論 ピーク転送性能以上で接続されていること。（ｈ）ＯＳとしてＬｉｎｕｘ２． ６以上の商用ディストリビューションあるいはそれと同等なもの、およびＷｉ ｎｄｏｗｓ　ＨＰＣの実行ライセンスを有し、実際にインストール・実行が可 能であること。（ｉ）現行のＴＳＵＢＡＭＥ１が有するバッチキュー　　　　 　　全ての主たる機能を満たすスケジューラで有効にマルチユーザ環境で資源 配分がされること。（ｊ）ネットワーク経由で、（ｊ．１）ノードを完全休眠 状態（ｈｉｂｅｒｎａｔｉｏｎ）にできること、（ｊ．２）吸気温度・排気温 度を観察できること、（ｊ．３）ＰＸＥブート等により、ディスクレスでブー トとできること。Ｂ．Ｔｈｉｎ計算ノード仕様（ａ）各計算ノードは総計１２ コア以上のｘ８６―６４ＣＰＵコアが全メモリを共有できること。（ｂ）コア あたり２ＧＢｙｔｅ以上のメモリを有すること。また、ノード全体の理論メモ リバンド幅が６０ＧＢｙｔｅ／ｓ以上であること。（ｃ）各計算ノードは１枚 以上のＧＰＵアクセラレータが装着されていること。また、将来もう一枚のア クセラレータが装着可能であること。装着されているアクセラレータには４Ｇ Ｂｙｔｅ以上のメモリが装備されていること。（ｄ）各アクセラレータへはそ れぞれ独立にＰＣＩ―Ｅｘｐｒｅｓｓ　ｇｅｎｅｒａｔｉｏｎ２　ｘ１６以上 のバンド幅（８ＧＢ／ｓ）のＩ／Ｏにて接続されること。（ｅ）各計算ノード は標準の１９インチラックで２Ｕ以下のあるいはそれに相当する以下の表面積 および体積を占めること。Ｃ．Ｍｅｄｉｕｍ計算ノード仕様　（ａ）各計算ノ ードは総計３２コア以上のｘ８６―６４ＣＰＵコアが全メモリ共有できること 。（ｂ）コアあたり２ＧＢｙｔｅ以上のメモリを有すること。また、ノード全 体の理論メモリバンド幅が１６０ＧＢｙｔｅ／ｓ以上であること。（ｃ）各計 算ノードは２枚以上のＧＰＵアクセラレータが装着されていること。また、将 来もう２枚のアクセラレータが装着可能であること。装着されているアクセラ レータには４ＧＢｙｔｅ以上のメモリが装備されていること。（ｄ）各アクセ ラレータへはそれぞれ独立にＰＣＩ―Ｅｘｐｒｅｓｓ　ｇｅｎｅｒａｔｉｏｎ ２　ｘ１６以上のバンド幅（８ＧＢ／ｓ）のＩ／Ｏにて接続されること。（ｅ ）各計算ノードは標準の１９インチラックで４Ｕ以下のあるいはそれに相当す る以下の表面積および体積を占めること。（ｆ）全計算ノード群の台数に対し て最低５％のノードはＭｅｄｉｕｍ計算ノードであること。Ｄ．Ｆａｔ計算ノ ード仕様　（ａ）各計算ノードは総計３２コア以上のｘ８６―６４ＣＰＵコア が全メモリ共有できること。（ｂ）ノード全体で２５６ＧＢｙｔｅ以上のメモ リを有すること。また、ノード全体の理論メモリバンド幅が２００ＧＢｙｔｅ ／ｓ以上であること。（ｃ）各計算ノードは４枚以上のＧＰＵアクセラレータ が装着されていること。装着されているアクセラレータには４ＧＢｙｔｅ以上 のメモリが装備されていること。（ｄ）各アクセラレータへはそれぞれ独立に ＰＣＩ―Ｅｘｐｒｅｓｓ　ｇｅｎｅｒａｔｉｏｎ２　ｘ１６以上のバンド幅（ ８ＧＢ／ｓ）のＩ／Ｏにて接続されること。（ｅ）最低８台のノードはＦａｔ 計算ノードであること。Ｅ．マルチペタバイト級ストレージ　（ａ）非フォー マット時で８ＰＢ以上の物理容量を有すること。（ｂ）ＲＡＩＤ６などの、三 重のデータ保護機能を有すること。（ｃ）ＬＵＳＴＲＥなどの高速かつ高信頼 な並列ファイルシステムを有すること。並列ファイルシステムはメタデータサ ーバなど各部分がハード的・ソフト的に多重化され、ｓｉｎｇｌｅ　ｐｏｉｎ ｔ　ｏｆ　ｆａｉｌｕｒｅを持たないこと。（ｄ）ファイルシステム全体のス ループットが１００ＧＢ／ｓ以上であること。（ｅ）ＧｒｉｄＦＴＰおよびＧ Ｆａｒｍ２などのグリッドのファイル転送手段・およびグリッドのファイル複 製共有システムを有すること。（ｆ）２０００以上のＮＦＳあるいは同等の遠 隔ファイルシステムのマウントポイントをサポートすること。（ｇ）非圧縮時 の容量がディスク全体の容量　　　　　　　　　　　　　　　　　　　　　　 　　と同等以上のテープシステムを持つこと。テープシステムの全体の転送ス ループットが５ＧＢ／ｓ以上であること。Ｆ．ノード間相互結合網　（ａ）全 ての計算ノード群、およびマルチペタバイト級ストレージを接続すること。（ ｂ）計算ノード群へはそれぞれ理論最高値８ＧＢｙｔｅ／ｓのバンド幅が確保 できること。また、ＭＰＩ通信時の計算ノード群のｅｎｄ−ｔｏ−ｅｎｄの最 長レーテンシは１μｓ以下であること。（ｃ）マルチペタバイト級ストレージ には合算で１００ＧＢｙｔｅ／ｓの接続が可能であること。（ｄ）ネットワー クプロトコルとして、ＲＤＭＡ、ＴＣＰ／ＩＰ、ＭＰＩ　ｏｖｅｒ　ＲＤＭＡ をサポートすること。（ｅ）ネットワーク全体のバイセクションバンド幅は、 （（計算ノード数×８）÷２）ＧＢｙｔｅ／ｓ以上であること。（ｆ）既存の キャンパス内ネットワーク（ＳｕｐｅｒＴｉｔａｎｅｔ）及び外部グリッドネ ットワーク（ＳｕｐｅｒＳＩＮＥＴ３）に対して複数の１０Ｇｂｐｓ以上の通 信性能で直接接続できること。Ｇ．全体性能に関する要件　（ａ）計算ノード 群全体のピーク合算性能は１．１ＰｅｔａＦｌｏｐｓ以上であること。（ｂ） 計算ノード群のピーク合算性能のうち、ＣＰＵの性能寄与はピークで３００Ｔ ｅｒａＦｌｏｐｓ以上であること。（ｃ）計算ノード群のメモリの合算容量は ５０ＴｅｒａＢｙｔｅ以上であること。Ｈ．グリーンスーパコンピュータとし ての要求要件以下の（ａ）―（ｄ）を満たす技術要件の達成法およびその妥当 性を示すこと。（ａ）ピーク消費電力（Ｗ）―これは、全システムが「想定し うる最高の」高負荷となるときにおいて、システム全体が消費する電力である 。ＴＳＵＢＡＭＥ１に続き、今回の調達において、設置場所であるＧＳＩＣ情 報棟建物の容量以下に抑えることが重要である。具体的には、単一のノード上 でＣＰＵおよびＧＰＵとも高度に最適化され７０％以上の計算効率を出してい るＬｉｎｐａｃｋ実行をベースとした全体の実測あるいは予想される消費電力 の値が１．１ＭｅｇａＷａｔｔ以下である必要がある。（ｂ）平均消費電力お よびエネルギー値―これはシステム全体が単位時間当たりに消費する電力の（ 長時間の）時間平均である。実際のシステムは、高負荷から低負荷まで時間的 ・季節的に変動するが、理想的な姿としては、システムの平均消費のＰｅａｋ に対する割合が、平均負荷率と丁度それにマッチする（たとえば、平均負荷７ ０％のシステムならば、使用電力はＰｅａｋの７０％となる）ことである。Ｔ ＳＵＢＡＭＥ２においては、（ａ）の状況を１００％として、５０％負荷時に Ｐｅａｋの５０％の平均消費電力であることを示す必要がある。（ｃ）Ｐｅａ ｋの動的な制御抑制―近年特に夏季において、全学の電力需要が、契約電力の 供給を上まりそうになり、電力抑制の警戒警報が発令されることが頻発してい る。現行のＧＳＩＣにおける計算機はどれも電力抑制のための動的かつすみや かなＰｅａｋ抑制の手段がないため、そのような要請に応じられる体制にない 。今回の調達においては、そのような警報が発令された場合、すみやかに現行 のユーザのジョブの実行を直接的に妨げることなく、Ｐｅａｋを抑制する縮退 運転に移行することにより、Ｐｅａｋを数％〜数十％削減する機構を必須とす る。（ｄ）冷房効率の最大化―本調達においては、落札者が必要な追加の冷却 設備を設置する必要があるが、その際の（ｂ）時の平均ＰＵＥを１．２５以下 とする効率を達成する必要がある。Ｉ　クラウド型スーパコンピュータとして の要求要件　（ａ）Ｌｉｎｕｘ　ｋｅｒｎｅｌ　２．６以上をベースとし、ス ーパコンピューティングで実績のあるディストリビューション、およびＷｉｎ ｄｏｗｓ　ＨＰＣという二つ以上のＯＳが動作し、また適切な稼働ライセンス を有すること。　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　　（ｂ）各計算ノードにおいて、仮想マシンが動作し、（ａ）の二つのＯＳ もその上で動作可能であること。（ｃ）Ｌｉｎｕｘ、Ｗｉｎｄｏｗｓともバッ チスケジューラと連動した動的なプロビジョニングが可能であること。（ｄ） チェックポイント・マイグレーションの機能をサポートすること。（ｅ）上記 のサービスの仕様は、標準的なＷｅｂ　ＳｅｒｖｉｃｅｓのＡＰＩとして与え られること。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ２　資料及びコメントの提供方法　上記１（２）の物品に関する一般的な参考 資料及び同（６）の要求要件等に関するコメント並びに提供可能なライブラリ ーに関する資料等の提供を招請する。　　　　　　　　　　　　　　　　　　 　（１）　資料等の提供期限　平成２１年２月２６日 (2009年2月26日)１７時００分（郵送の場 合は必着のこと。）　　　　　　　　　　　　　　　　　　　　　　　　　　 　（２）　提供先　〒１５２―８５５０東京都目黒区大岡山２丁目１２番１ 📍 号　東京工業大学財務部契約課　大久保富久　電話０３―５７３４―２３５０ ３　説明書の交付　本公表に基づき応募する供給者に対して導入説明書を交付 する。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　（１）　交付期間　平成２１年１月１６日 (2009年1月16日)から平成２１年２月２６日 (2009年2月26日)まで。 　（２）　交付場所　上記２（２）に同じ。　　　　　　　　　　　　　　　 ４　説明会の開催　本公表に基づく導入説明会を開催する。　　　　　　　　 　（１）　開催日時　平成２１年１月２７日 (2009年1月27日)１０時００分　　　　　　　　　 　（２）　開催場所　東京工業大学学術国際情報センター２階会議室　　　　 ５　その他　この導入計画の詳細は導入説明書による。なお、本公表内容は予 定であり、変更することがあり得る。