FlashLabs、OrcaRouterにルーティングDSLを追加し、マルチモデルAIワークロードの効率化を実現

FlashLabsは、Continuum AIが開発し、同社が日本で独占販売しているAI推論ゲートウェイ「OrcaRouter」向けの新機能「Routing DSL」を発表しました。この機能により、組織は宣言型YAMLとCELベースの推論グラフを活用して、マルチモデルAIワークフローを一元的に設計・管理できるようになります。.

今回のリリースは、企業があらゆるタスクにおいて単一のモデルだけに依存するのではなく、複数のAIモデルを組み合わせて活用することにますます注力していることから実現しました。最先端のモデルは非常に優れた推論能力を備えていますが、日常的な業務にそれらを使用するとコストが膨らんでしまう可能性があり、それは好ましくありません。 ルーティングDSLは、タスクの種類、複雑さ、品質要件、コスト、レイテンシなどの要因に基づいて、ワークロードを異なるモデルに振り分けることで、この課題に対処します。.

本システムは、難易度に基づくルーティング、タスクベースのモデル選択、複数モデルにわたる並列実行、自動フォールバック、およびポリシーベースの最適化を含む、5つのルーティング手法をサポートしています。これにより、組織は複雑な推論タスクには高度なモデルを割り当てつつ、より単純な操作には低コストのモデルを使用することが可能になります。.

- 広告

こちらもお読みください： TCSとAnthropicが提携し、エンタープライズAIをパイロット段階から次の段階へと推進します

フラッシュラボ このアプローチにより、企業は高価なモデルだけに頼ることなく、高品質なAI結果を得ることができると述べています。ルーティングロジックはYAMLで記述されているため、チームはアプリケーションコードを書き換えることなくワークフローを調整でき、リクエストがどのようにルーティングされるか、いつフォールバックが発生するか、そして実際にどのモデルが選択されるかについて、常に明確な可視性を維持することができます。.

この機能は、以下のものとも連携します OrcaRouterの 既存のルーティング機能やフェイルオーバー機能を備えており、単一のプラットフォームを通じて200以上のAIモデルにアクセスできるため、他の場所で作業を切り替える必要がありません。.