パフォーマンスエンジニアリングテクノロジーのリーディングカンパニーである株式会社フィックスターズ（本社：東京都港区、代表取締役社長：小野 功、以下「フィックスターズ」）は、さくらインターネット株式会社のベアメタルGPUクラウドサービス「High Power PHY」向けに、パフォーマンスエンジニアリングプラットフォーム「Fixstars AI Booster」（以下「AI Booster」）の最新GPU「NVIDIA H200 SXM 141GB」（以下「H200」）を搭載したサーバで動作検証を実施し、従来モデル（H100）と比較して2.5倍の高速化を実現したことをお知らせいたします。
AI Boosterで「高出力PHY」の性能を最大化
AI Boosterは、GPUなどのコンピューティングリソースの利用効率を最適化することで、常に高いパフォーマンスを維持することを目的としたソフトウェアです。パフォーマンスの観測と改善のサイクルをサポートする2つの機能、PO（Performance Observability）とPI（Performance Intelligence）を提供します。
フィックスターズ協力 さくらインターネットAIブースターは、ベアメタルシリーズ "High Power PHY "の第一弾として、AI向けクラウドサービス "High Power "で新たに提供されるH200アーキテクチャGPUにおいて、AIブースターの性能監視と改善が効果的に機能することを確認しました。これにより、スピードが加速します。
こちらもお読みください： NTTグループとゲットワークス、AIを活用したICTプラットフォームで提携
Fixstars AI BoosterとH200のパフォーマンステスト結果
大規模な生成AIモデルを処理する場合、特に学習時にGPUのメモリ不足の問題がしばしば発生することが知られています。例えば、前モデルのH100では、70Bクラスのモデルの事前学習を2ノードで実行するために、メモリ消費を抑えるために処理速度や精度を落とす必要がありました。
動作確認内容
学習方法 事前学習
適用モデルラマ3.1 70B
トレーニングデータ RedPajama-Data-1T arXiv
使用フレームワークメガトロン-LM
AI BoosterによるH200事前学習高速化対策の概要
高精度オプティマイザの使用（SGD-SaI -> Adam）
高速演算ユニットの使用（fp16->fp8）
再計算量の削減（再計算-粒度フル→選択的など）
ソース PRタイムズ
