【AI Trends】規制と安全保障の新たなフェーズへ：9月1日の業界トピックス

ガバナンス EU、ChatGPTに最高水準の監査基準を適用

欧州連合（EU）の規制当局は、域内利用者が1億5900万人を超えたChatGPTをより厳格な安全基準の対象に指定しました。OpenAIには今後4ヶ月以内に、システムリスクの特定・低減策の提出および外部研究者へのデータアクセス提供が義務付けられます。AIモデルの運用における社会的責任と説明責任が、法的強制力を持って問われる時代に突入しました。

セキュリティ コード生成AIが攻撃の「参謀」に：新たなサイバー脅威

セキュリティ企業CloudSEKの調査により、ランサムウェア攻撃者が開発支援AIツール「Cursor」を活用して社内ネットワークへの侵入計画やログ消去スクリプトの作成を行っていたことが判明しました。エンジニアの生産性を高めるAIエージェントが、攻撃者にとっても効率的な自動化ツールとして悪用され始めており、開発ツールの利用権限やセキュリティ監視の再設計が急務となっています。

収益化と倫理 価格破壊のインパクトとAIセーフティの課題

AIモデル開発企業の最新業績発表では、苛烈なAPI価格競争による収益性の圧迫が表面化しており、高い計算コストと収益化のバランスが業界全体の課題となっています。また、第三者機関による最新のAI対話安全評価では、自傷行為等への直接的返答は大幅に改善されたものの、高度な文脈やロールプレイ時の安全フィルター回避策への対応が引き続き求められています。