English 
京都大学と東京大学発のスタートアップ、アラジン・セキュリティがAIレッドチームサービスを開始しました。このサービスは、生成AIシステムのセキュリティをテストし、改善することを目的としています。このサービスは攻撃をシミュレートします。脱獄の試み、敵対的なプロンプト、データ漏洩などです。これは、悪用される前に脆弱性を見つけるのに役立ちます。発見された脆弱性は深刻度別に分類されます。それぞれは緩和策と対になっています。これにより、エグゼクティブには迅速なサマリーが、開発者には詳細なレポートが提供されます。
このリリースは、より多くの企業がジェネレーティブAIを使用するようになったことを意味します。これは、リスクについての懸念をもたらします。偏見、誤った情報、不正な情報へのアクセスなどです。サイバーセキュリティにおいてレッドチームは不可欠です。AIにおける真の脅威を特定するのに役立ちます。また、法的・倫理的基準を確実に満たすためにも役立ちます。
こちらもお読みください： ITFOR、AIを活用した外部資産リスクサービスを開始
アラジン・セキュリティ は世界的に有名になりました。彼らはOpenAIの「GPT-OSS 20B Red Teaming」コンペティションで優勝しました。同社はテストフレームワークの自動化を強化する予定です。これにより、リスクの検出がスピードアップします。また、多くの業界でAIセキュリティの知識を高めることにもなるでしょう。この動きは重要な傾向を示しています。生成AIシステムを保護することは、責任をもってAIを使用するために今や不可欠なのです。
日本語