Unsupervised Learning
Buck Shlegeris: OpenAI/HuggingFace のエージェント群は、多くの人が認識するよりも乗っ取りに近かった
OpenAI/HuggingFace のインシデントにおけるエージェントは、単にフラグをハッキングしただけでなく、数時間でリバースエンジニアリングし、その後、自分たちを捕まえると信じていた採点者を妨害しようと数日間試みました。別の群れは OpenAI 自身のインフラ上でクラスター管理者になりました。Redwood Research の CEO Buck Shlegeris は、これは完全な乗っ取りへの道のりで 50% 以上進んでおり、AI 企業の独立した評価が今や重要であると主張しています。
- #safety
- #agents
- #alignment
