DDNジャパン、低レイテンシーInfiniaストレージプラットフォームを発表

HPC（スーパーコンピュータ等）向けストレージ製品を取り扱うデータダイレクトネットワークスジャパン株式会社は、AIインフラ用途に特化した新データプラットフォーム「DDN Infinia」の国内販売と「DDN AIアプリケーション開発支援プログラム」の提供を9月9日より開始したことを発表しました。

Infiniaは高速オブジェクトストレージの一種です（DDNでは「オブジェクトプラットフォーム」と呼んでいます）。その特徴は、ノードを追加することで性能と容量をリニアに拡張できること、10万以上のGPUを搭載した実環境で実証された効率性、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud Platform（GCP）のコンテナ化対応などです。また、POSIXやS3といった従来のストレージインターフェースのボトルネックを回避しながら、S3データサービスを提供します。オブジェクトのサイズやメタデータに制限を設けることなく、低レイテンシーとダイレクト-to-GPU RDMAゼロコピーI/Oで圧倒的なスループットを実現します。DDN Infinia SDK」も提供。本製品はアプライアンスとして提供されます。パートナー経由で販売され、11月に出荷開始予定。DDNジャパンのInfiniaページでは現在、Infiniaを搭載したラックマウントアプライアンス「AI2000」を紹介。一方、DDN AIアプリケーション開発支援プログラムでは、AIアプリケーション開発者のInfinia活用を支援。InfiniaとSDKの無償提供、開発・検証の無償技術サポート、DDNジャパンの検証研究センターでの共同検証など。DDNジャパンは9月9日、メディア向けのラウンドテーブルを開催し、Infiniaを含むAI分野の戦略や取り組みについて説明しました。DDNのストレージ製品は、富嶽をはじめとするHPC分野で広く利用されています。この特定分野に強いベンダーとして、同社が記者会見を開くことはほとんどありません。しかし近年、HPCに近い特徴を持つジェネレーティブAI基盤（いわゆるAIスパコン）の分野で、DDNのストレージが採用されるケースが増えています。今回のメディア向け座談会は、この分野におけるDDNの実績と活動を知ってもらうために開催。

AIアプリケーション開発のストレージを支えるため、日本への投資を3年で倍増 まず、DDNジャパンの代表取締役社長兼CEOであるロバート・トリンクル氏（データダイレクトネットワークス グローバルセールス担当シニアバイスプレジデント）が、DDNの戦略と展望を説明。Trindl氏はDDNの近況について、"かつてはニッチなHPC分野だった技術が、突然一般的なデータセンターの基盤になりつつある "と述べました。ジェネレーティブAIは今や大量の計算を必要とします。「究極のリソースは計算ではなくデータです。データをどのように管理、保存、分散させるかが、全体の効率に影響します。これまで、このような計算は主に生成AIモデルのトレーニングに使用されており、効率を考慮することはなかったとトリンドル氏。しかし、より多くのアプリケーションが推論に生成AIモデルを使用するようになると、データアクセス速度や消費電力などの分野での効率が問題になります。「私たちの新製品（Infinia）はその点に着目し、新たなカテゴリーの製品を生み出しました。スケーラブルなアプリケーションにも対応できます」とTrindl氏。一般的な外資系企業とは異なり、DDNは日本の大手ベンダーと協業してきました。しかし今後、AIアプリケーション向けの製品を提供するにあたっては、単にインフラを販売するだけではありません。まず、AIアプリケーションの開発者と緊密に連携する必要があります。また、SaaSアプリケーションとAIを組み合わせたクラウドベースの実証プログラムも必要でしょう。また、台湾のハードウェアODMベンダーとの提携も必要でしょう。日本での具体的な施策としては、まずジェネレーティブAIへの投資を増やし、今後3年間で倍増。さらに、AIアプリケーション開発におけるストレージを支援する体制を構築し、実際のアプリケーションをベースにしたクラウド型実証プログラムを2026年に開始する予定。また、ハードウェアパートナーとの連携も強化します。「これにより、HPCで達成したのと同様の成功を、ジェネレーティブAIインフラでも達成できるようになります」とトリンクルは締めくくります。

こちらもお読みください： HENNGE One、Box管理のためのCL-UMPサポートを追加

HPC由来の "DDN EXAScaler "と新型 "DDN Infinia "という2つのAIインフラ向けストレージプラットフォーム。DDNジャパンの井原修一プリンシパルエンジニアは、DDNのジェネレーティブAI市場への取り組みについて説明。まず井原氏は、AIインフラ向けのストレージプラットフォームとして、HPC向けに開発された高効率でスケーラブルな並列ファイルシステム "DDN EXAScaler "と、新製品の "DDN Infinia "の2つを紹介。まず、AI学習について説明。それによると、HPCとAIには、多数のノードからの同時アクセスや低遅延・広帯域のネットワークなど、共通する要素が多いとのこと。さらに、AIのトレーニングにおけるストレージの使用では、数日から数カ月にわたるジョブが中断された場合でもリカバリーが可能なように、メモリのスナップショットを定期的に保存します。データサイズが大きくなると、書き込むデータ量も膨大になるため、高速な書き込みが必要になります。この分野では、NVIDIAのAIスーパーコンピュータや、ソフトバンク、JCAHPC（Joint Center for Advanced High-Performance Computing）、さくらインターネットのAIスーパーコンピュータにDDN製品が採用されています。次に推論について。LLM推論では、テキストをトークンに分解し、計算し、予測します。中間的な計算結果を保存（キャッシュ）し、再利用することで、結果を返すレスポンスタイムを短縮します。このストレージは、GPUメモリ、ホストメモリ、ローカルディスク、外部ストレージに階層化されています。オープンソースのソフトウェア「LMCache」は、この階層を自動的に整理・管理します。DDNは現在、DDN Infiniaを外部ストレージとして使用し、性能向上を図るテストを行っています。また、同時ユーザー数に応じた性能評価や、GPU、メモリ帯域幅、メモリ容量のいずれかに負荷がかかる評価セットを提供することで、LMCacheコミュニティに貢献していると井原氏。

インフィニアの特徴 ディーディーエヌ CTOのSven Ohme氏もDDN Infiniaについて次のように述べています。Ohme氏はまず、従来のPOSIX（ファイルストレージ）およびS3（オブジェクトストレージ）ストレージとAIワークロード用のストレージを比較しました。従来のストレージは単にデータを読み書きするだけですが、AIワークロードはインテリジェントな処理を必要とします。また、従来のストレージがファイル名やオブジェクト名で対象を検索するのに対し、AIワークロードではベクトルやグラフの検索機能も必要だと説明。オーム氏は、Infinia SDKは従来のストレージでは対応できなかった要件に対応するために開発されたと説明。HPCで培った技術により高いスケーラビリティを実現しながら、高速なデータ処理と、システム内のデータで発生したイベントに対するアクションを取る機能を誇ります。

さらに、Infiniaの分散データ機能により、エッジで生成されたデータはエッジに保存し、必要なデータだけをデータセンターに転送することができます。また、S3やPOSIXなどさまざまなデータソースを統合してメタデータを同期し、Infiniaのイベントエンジンに取り込むことができることも説明。Infiniaのパフォーマンスの一例として、AWS上で動作するRAGパイプラインのレスポンスタイムを紹介。彼は3つの実装を比較しました：AWSのネイティブRAG、AWS S3 Expressを使った実装、そしてAWS S3 ExpressをInfiniaに置き換えたバージョンです。その結果、速度は22倍向上し、コストは50%削減できたとのことです。Infiniaの高速化のポイントについて、Ohme氏は、S3のような一般的なストレージは、ブロックストレージ、RAID、ファイルシステム、オブジェクトストレージと複数のレイヤーがあるのに対し、InfiniaのInfinia SDKは、これらの中間レイヤーを排除し、ドライブに直接アクセスし、KVストア（キーバリューストレージ）として扱うことを指摘。最後に、大目氏はInfinia SDKの特徴をまとめました：C++、Python、Go、Rust、Javaなど、さまざまなプログラミング言語に対応。C++、Python、Go、Rust、Javaなど、さまざまなプログラミング言語をサポートしています。POSIXやS3インターフェースのボトルネックを解消。メタデータクエリとラベリングを並列に高速に実行します。また、GPUやKVキャッシュを含む様々なレベルでのアクセラレーションを提供することにも言及。

ソース ヤフー