数値風洞（NWT)の開発と運用 航空宇宙技術研究所 中村孝 １．NWTの開発目標 　これまで航技研ではVP400からなる数値シミュレータ（NS-I）を導入し、運用してきた。このシステムを利用して数々の研究に利用され、多くの数値シミュレーションが行われた。次期システムとして以下のような要求が出された。 (1)百万点程度の数値シミュレーションを設計に利用するためには、１０分以内で答えが出されること。 (2)千万点程度の付属物のついた完全全機のシミュレーションを１日以内で実行できること。 (3)一億点程度の主翼上の３次元のLESが実用的な待ち時間の範囲内で取得可能なこと。 (4)これまでのプログラム資産を継承できること。 (5)並列化が容易なこと。 (6)高速なデータ転送を行えること。 (7)柔軟な運用ができること。 　これらの性能要求は、実効性能でＶＰ４００の１００倍以上の計算機の必要性を示すものであった。これを実現する計算機は、それまでのスーパコンピュータの標準であった、｢密結合の共有主記憶型ベクトル計算機｣方式では実現不可能であり、並列型の分散主記憶型とする必要があった。一方、ベクトル計算機の対極として開発が進められていた「超並列計算機」は、ピーク性能に対して実効性能が低く、利用法が難しい等の大きな難点があった。 　ここで主な対象としては、定常問題の三次元空力シミュレーションであり、そのCFDプログラムは、３重ループが大半であり、そのうちほとんどの２重ループに並列性があることがわかっている。一つはベクトル化に、一つは並列に利用可能であり、並列化を行ってもなおベクトル処理が有効なことを示している。したがって、高性能なベクトル計算機を要素として並列計算機を作ることが可能となり、少ない台数で要求性能が実現できる。少ない台数の並列計算機では、高速で、自由度が高い、並列化効率が高く、自由度の高い、並列化が容易になるネットワークが採用できること。計算機の専門家でないＣＦＤ研究者も並列プログラムを容易に作成できること、さらに柔軟な運用が可能なこと、等の多くの利点がある。 　以上をふまえて以下のような概念の並列計算機を富士通�鰍ﾆ共同開発することとした。 図１　航技研の計算機システムの歴史 ２．NWTの構成 　上記目標を達成するためには、１ＧＦＬＯＰＳ以上の計算機を要素計算機とする世界でも始めての試みである「並列ベクトル計算機」を「数値風洞」の主アーキテクチャとする。 (1)ハードウエア 　要素計算機としてベクトル型のCPU（１．７ＧＦＬＯＰＳ、２５６MB）を採用し、それらを高速で自由度の高いクロスバネットワーク（４２１MB/ｓ×）で結合した並列ベクトル計算機とし、データ転送速度の遅い磁気ディスクとの間に高速大容量の半導体システム記憶（SSU、２４GB）を置いて、バッファ、キャッシュとしての機能を持たせ速度差を吸収する。 　クロスバネットワークは、配列分割時の転置転送に威力を発揮し、パーティション運用が自由であるなどの柔軟な運用が可能であり、他ジョブに邪魔されない、等の特徴を持つ。 (2)ソフトウエア 　OSには、カーネルが小さく、カスタマイズが可能であり、開発コストが低い、業界標準となっている、UNIXを採用した。またジョブはバッチジョブのみとし、性能追求型とする。バッチジョブをコントロールするＮＱＳの出口を利用したオリジナルジョブスケジューラを作成し、台数を限定しない運用、ＰＥの有効利用を可能とする。 　ユーザインタフェース及び運用の基本となるOSとしては、これまでユーザが使い慣れており、セキュリティが高く、運用機能が豊富なMSPとし、NWTのフロントエンドとしてMSPサーバーを置く。異種OSである、MSPとUNIXを結ぶ連携機能を構築し、その差異を吸収した。 (3)言語 　並列化はFortran77にディレクティブを挿入するものを採用した。ディレクティブによる並列化は、領域分割を主とする並列化、性能を重視した設計とし並列化が容易であり、プログラム資産の継承が可能となる。さらに性能追求や将来の動向を見据え、Fortran90への拡張、MPI,PVM,PARMACSといった並列ライブラリ、各種パフォーマンスツールを整備した。 図２　数値風洞のシステム構成 ３．NWTの性能 (1) 平成５年２月に航技研に導入された１４０台の要素計算機からなるシステムは、ピーク性能が２３６ＧＦＬＯＰＳで、テネシー大学のドンガラ博士による計算機ベンチマークで有名なＬＩＮＰＡＣＫ試験で、１２４．５ＧＦＬＯＰＳという実効性能を実現し、ピーク、実効ともに世界で初めて１００ＧＦＬＯＰＳを越えた。さらに平成８年にはPEを166台に増強し、２３０GFLOPSを達成し、３年間世界一の座に着いた。 (2)計算機メーカとの共同研究による開発のため、設計時点からユーザに並列化の情報、教育、実作業を行なうことが可能となり、93年2月に運用を開始した時点から並列ジョブの実行が可能となった。導入１年後の１９９４年に京都で開かれたParallel-CFDでは、航技研の研究員、共同研究者がNWTの利用による多数の成果を報告し、多くの反響を得た。また国内外から多数の共同研究の打診があり、共同研究など外部機関の研究者に多数利用された。さらに国内外から多くの見学者が訪れた。 図３　数値風洞の性能図 NS3D 150GFLOPS/166PEｓ(1996) 116GFLOPS/140PEｓ(1993) 乱流シミュレーション（FFT) 　90GFLOPS/128PEｓ(1994) 量子色力学シミュレーション（QCD) 216GFLOPS/160PEｓ(1995) 180GFLOPS/128PEｓ(1995) 圧縮機シミュレーション 111GFLOPS/160PEｓ(1996) 表１　プログラム毎の性能 ４．ゴードンベル賞 　９４年にワシントンDCで開かれた米国IEEE主催のスーパコンピューティング９４で、一様等方性乱流のシミュレーションで９０GＦＬＯＰＳを達成し、ハードウエアの開発と あわせてゴードンベル賞特別賞を受賞した。９５年には、山形大学との共同研究による量子色力学(QCD)で２１０ＧＦＬＯＰＳを達成し、性能部門賞（WINNER)を受賞し、さらに96年には エンジンコンプレッサの全周シミュレーションで１１１ＧＦＬＯＰＳを達成し、性能部門賞（WINNER)を受賞した。競争の激しい計算機の分野で同じ計算機が３年続けて受賞するということは、この計算機がいかに時代を先取りしたものであったかを如実に示すものである。 図４　ゴードンベル賞 ゴードンベル賞：ＰＤＰ−１１などの有名なミニコンの設計者であるゴードンベル博士が提唱した、実アプリケーションプログラムによる並列実効性能、並列コンパイラ、コストパフォーマンスで性能向上に寄与した研究に与える賞であり、ＩＥＥＥ計算機部門の選考委員会で審査し、毎年のスーパコンピューティングで表彰している。 ゴードンベル賞受賞風景 ５．NWTの利用、成果 　世界に先駆けた５１２の３乗の一様乱流シミュレーション、複雑な遠心圧縮機流れのシミュレーション、ジェットエンジン圧縮機全周流れのシミュレーション、超音速実験機、HOPEのシミュレーションによる設計。遺伝的アルゴリズムによる計算負荷の高い最適化問題を実用的な時間内で実施可能とし、乱流燃焼問題のシミュレーションでは、水素吹き上がり 火炎の内部の微細構造の解明を行うなどの多くの成果を挙げた。さらには共同研究として、 地球フロンティア（東京大学）と共同で海洋大循環モデルのシミュレーション、山形大学と共同で格子量子色力学（ＱＣＤ）シミュレーションなどを実施し、NWTを高度に利用した成果を多数発信した。またその他、ＭＨＩ，ＫＨＩ，ＩＨＩ、東大、東北大、名古屋大、九大、理科大等との多くの共同研究成果が発表された。 　さらには、短期間で並列化が可能なことから、短期のSTAフェローシップ制度の留学生の利用も多く行われた。 ６．NWTの稼動状況 　ジョブスケジューラの性能向上、ジョブの増大など需要が高まり、ここ数年は利用率が９０％を超えるに至っている。システムとしては代替期にある状況を示しており、ここに示されるように 新システムを検討し、導入するに至っている 図５　NWTの運用実績 ７．付記 　NWTは故三好甫氏を中心とする航空宇宙技術研究所の研究者、利用者の協力、富士通の協力により開発され、運用されてきた。さらに多くのユーザの方々の協力により高い性能を発揮し、多くの成果を生み出し、国内外から多くの賞賛を浴びた。 故三好氏の慧眼と行動力に改めて敬意を表すると共に心からご冥福をお祈りします。 担当者： 三好甫、福田正大、土屋雅子、中村孝、中村絹代、末松和代、吉田正廣 図６　数値シミュレーション技術の向上 図７　実行時間および転送時間の比 NWTは、次の方々により、開発され、運用され、利用が推進されました。記して感謝します。 三好甫、福田正大、岩宮敏幸、土屋雅子、末松和代、中村絹代、吉田正廣、相曽秀明、磯貝鉱二、石黒登美子、和田安弘、 高梨進、橘正和、山本稀義、古浦勝久、山本行光、野村聡幸、山根敬、中道二郎、廣瀬直喜、小川哲、高木亮治、松尾裕一、 山崎裕之、石塚只夫、藤田直行、平林由美子、大川博文、野崎理、溝渕泰寛、山本一臣、高木亮治、藤田直行、富士通株式会社 参考文献 三好甫、「CFD推進に必要な計算機性能」、航技研、SP13、1990 岡田信、高村守幸、「CFD向け並列計算機のソフトウエア」、航技研、SP13、1990 三好甫、「航技研超高速数値風洞（UHSNWT）の構想」、航技研、TR-1108、1991 三好甫、「数値風洞：要求要件と概略」、航技研、SP16、1991 三好甫、他、「数値風洞のハードウエア」、航技研、SP16、1991 福田正大、他、「数値風洞のオペレーティングシステム」、航技研、SP16、1991 福田正大、他、「数値風洞の言語処理ソフトウエア」、航技研、SP16、1991 中村孝、他、「NWT並列FORTRANに基づく並列評価」、航技研、SP19、1992 中村孝、他、「CFDプログラムによるNWTの性能評価」、航技研、SP22、1993 Toshiyuki Iwamiya, et al., "On the Numerical Wind Tunnel" , Parallel-CFD '93 Hajime Miyoshi, et al., "On the NAL Numerical Wind Tunnel and Its Performanceｓ" , 5'th International Symposium of Computational Fluid Dynamics, 1993 Hajime Miyoshi, et al., "Development and Achievement of NAL Numerical Wind Tunnel", Super Computing '94, Gordon Bell Prize Award, Honorable Mention Performance, 1994 Atsushi Nakamura, et al., "Quantum Chromodynamics Simulation on NWT", Supercomputing '95, Gordon Bell Prize Award, Winner Performance,1995 Takashi Nakamura et al., "Simulation of the 3 Dimensional Cascade Flow with Numerical Wind Tunnel (NWT)", Supercomputing '96, Gordon Bell Prize Award, Winner Performance,1996 中村孝、他、「並列計算の特性と評価」、航技研、SP37、1997 中村孝、他、「CFDアプリケーションプログラムとNWTとの整合性について」、航技研、SP41、1998 Martin Skote et al., "Parallel DNS of a separating turbunlent boundary layer", PARALLEL CFD 2001

トップページに戻る｜ご挨拶｜一般報告｜開発にまつわる話｜写真集｜著作権｜お問い合せ