スーパーコンピュータをリニューアルしました

東北メディカル・メガバンク計画スーパーコンピュータは、2022年4月に大幅にシステムを拡張しました。

本スーパーコンピュータは、2014年7月に本格的に運用開始して以来、2018年6月に広く共有できるように更新しており、今回は2回目の大きな更新となります。

更新のポイント

・ CPUは8,900コアから14,560コアへ、高速ストレージは29PBから57PBへ増強され、計算能力が大幅に増しました
・ 新システムでは区画ごとの計算ノード台数を簡単に変更できる実装とし、計算能力を余裕のある区画から不足している区画へと融通させることができるようにしました。システムの柔軟性が増し、また、混雑の緩和が見込まれます。
・ 新システムの公開区画 (UnitA) は利用者PCからブラウザで接続して解析を行うことが可能になり、利便性が増しました

更新の詳細

計算ノード・高速ストレージの効率的な利用

ToMMoスーパーコンピュータ上には個人ごとのゲノムデータなど機微性が高いものからアレル頻度データのような機微性の低い統計情報まで、さまざまなデータが解析・保存されています。データの機微性が異なると扱い方も異なります。そのため、ToMMoスーパーコンピュータは3つの区画に分けられており、区画ごとに利用できるデータの種類が定められています。
旧システムでは、区画ごとに異なる物理筐体を用意し、区画ごとに独立した運用を行ってきました。そのため例えば「区画1では大量の解析が行われて混雑している一方、区画2ではそれほどでもなく遊休状態にある計算ノードが多い」といった場合でも、遊休状態にある計算ノードを区画を跨いで利用することは不可能であり、効率的な計算ノードの利用を実現することが課題となっていました。
新システムでは全ての計算ノードを同じ物理ネットワークに接続し、その上で論理的・仮想的に区画の分離を実装しました。このようにしたことでスーパーコンピュータ管理者が各区画の混雑状況に応じて区画ごとの計算ノード台数を簡単に変更できるようになったため、スーパーコンピュータ全体としての柔軟性が増し、また、混雑緩和が見込まれます。

新システムでは計算ノードと同様に高速ストレージについても論理的な区画分離を実現しています。これはToMMoで行われているデータ分譲におけるストレージ利用効率化につながります。旧システムでは 解析区画 (UnitC) で解析されたデータを分譲・共同利用区画 (UnitB) へコピーすることでデータを共同研究者に提供してきました。そのため、同じファイルが UnitB・UnitC 両方に存在することとなり、2倍のストレージ容量が消費されていました。対して新システムでは同一のファイルをUnitB・UnitC両方から利用できるため、より効率的に高速ストレージを利用できるようになりました。

ログイン方式の変更

旧システムの分譲・共同利用区画 (UnitB)、および、解析区画 (UnitC) では、ゲノムデータ等機微性の高いデータの安全な管理を実現するため、Windowsのシンクライアント端末にログインし、その後Linuxの計算ノードにログインするという手順を踏んでスーパコンピュータにアクセスする必要がありました。この2段階のログインの仕組みが分かりづらく、利用者から不評でした。新システムでは、1回の認証でダイレクトに計算ノードにログインできるように変更し、ユーザビリティの向上を図りました。
また、旧システムでは 指紋と公開鍵を用いた2要素認証を実装しておりましたが、新システムでは、ID・パスワード と 利用者のスマートフォンを用いた2要素認証を採用しました。

旧システムの公開区画 (UnitA) では、利用者の端末にSSHコマンドや専用の接続ソフトウェアを用意する必要があり、UnitAを利用するための準備作業が煩雑でした。対して、新システムでは、ブラウザでUnitA接続用のURLを開くとGUIで接続されるようになっており、利用者の手間を大幅に削減しました。

バックアップ方式の変更

旧システムでは約29PBのLTOテープライブラリ装置を用いてデータのバックアップを取得してきました。新システムではテープライブラリ装置に加え、オブジェクトストレージ（書き換え可能）、および、光磁気ディスクライブラリ（一度だけ書き込み可能。長期保存用）装置も合わせて導入しました。新システムでは、バックアップするデータの再作成可否や保管期限等の違いに基づきバックアップ先を選択することでデータの効率的な保管を進めます。

さらに詳しい変更点は、こちらをご覧ください。

関連リンク

2014.07.23 個別化医療・個別化予防の実現に向けて、東日本大震災の被災地を含む住民約15万人のゲノム解析などを行うスーパーコンピュータシステムの本格運用を開始【プレスリリース】

2014.07.23 次世代医療の開発を加速！ ゲノム医科学用供用スーパーコンピュータ AMED/ToMMoのシステムを拡張して全国利用体制を構築へ【プレスリリース】