アラジン・セキュリティ、AIレッドチーム育成サービスを開始

京都大学と東京大学発のスタートアップ、アラジン・セキュリティがAIレッドチームサービスを開始しました。このサービスは、生成AIシステムのセキュリティをテストし、改善することを目的としています。このサービスは攻撃をシミュレートします。脱獄の試み、敵対的なプロンプト、データ漏洩などです。これは、悪用される前に脆弱性を見つけるのに役立ちます。発見された脆弱性は深刻度別に分類されます。それぞれは緩和策と対になっています。これにより、エグゼクティブには迅速なサマリーが、開発者には詳細なレポートが提供されます。

このリリースは、より多くの企業がジェネレーティブAIを使用するようになったことを意味します。これは、リスクについての懸念をもたらします。偏見、誤った情報、不正な情報へのアクセスなどです。サイバーセキュリティにおいてレッドチームは不可欠です。AIにおける真の脅威を特定するのに役立ちます。また、法的・倫理的基準を確実に満たすためにも役立ちます。

こちらもお読みください： ITFOR、AIを活用した外部資産リスクサービスを開始

アラジン・セキュリティ has gained global fame. They won OpenAI’s ‘GPT-OSS 20B Red Teaming’ competition. The company plans to boost automation in its testing framework. This will speed up detecting risks. It will also boost AI security knowledge in many industries. This move shows a key trend: protecting generative AI systems is now crucial for using AI responsibly.

- 広告