メモリソリューションの世界的リーダーであるKioxia Corporationは、新しいAll-in-Storage ANNS with Product Quantization(AiSAQ)技術のオープンソースリリースを発表しました。SSD用に最適化された新しい「近似最近傍」検索(ANNS)アルゴリズムであるKIOXIA AiSAQ™ソフトウェアは、インデックスデータをDRAMに配置することなく、代わりにSSD上で直接検索を行うことで、検索拡張世代(RAG)のスケーラブルなパフォーマンスを実現します。
ジェネレーティブAIシステムは、膨大なコンピュート、メモリー、ストレージリソースを必要とします。様々な業界において革新的なブレークスルーをもたらす可能性を秘めている一方で、その導入には高いコストがかかることが少なくありません。RAGは、企業やアプリケーションに固有のデータを使用して大規模な言語モデル(LLM)を改良する、AIの重要な段階です。
RAGの中心的なコンポーネントは、特定のデータをデータベースに蓄積し、特徴ベクトルに変換するベクトルデータベースです。RAGはまた、蓄積されたベクトルとターゲットベクトルの類似性に基づいてモデルを改善するベクトルを特定するANNSアルゴリズムを利用しています。RAGが効果的であるためには、クエリに最も関連する情報を迅速に取り出す必要があります。従来、ANNSアルゴリズムは、このような検索に必要な高速性能を達成するために、DRAMに配置されています。
KIOXIA AiSAQテクノロジーは、億単位のデータセットに対応するスケーラブルで効率的なANNSソリューションを提供します。
KIOXIA AiSAQテクノロジーの主な利点:
- 限られたDRAMリソースに依存することなく大規模データベースの運用を可能にし、RAGシステムのパフォーマンスを向上させます。
- インデックスデータをDRAMにロードする必要がないため、ベクターデータベースを即座に起動できます。これにより、同一サーバー上のユーザー専用データベースまたはアプリケーション専用データベースのシームレスな切り替えをサポートし、効率的なRAGサービスの提供を実現します。
- 複数のサーバーで共有できるように、インデックスを分割ストレージに格納することで、クラウドシステムに最適化。このアプローチにより、ベクトルデータベースの検索パフォーマンスを特定のユーザーやアプリケーションに合わせて動的に調整し、物理サーバー間での検索インスタンスの迅速な移行を容易にします。
ソース ビジネスワイヤー