Anthropic Engineering
Anthropic、Claude Code の品質低下を3つの別々の変更に特定
互いに無関係な3つの変更が重なり、全体的な劣化のように見えていた。3月4日にデフォルトの reasoning effort が high から medium に下がり、3月26日に入ったキャッシュ最適化が、本来1回で済むはずの処理として毎ターン Claude の以前の思考を消してしまい、4月16日に加えられた「回答を100語以内に収める」という system prompt の一文がコーディング品質を実際に損なった。API は一度も影響を受けておらず、3件とも4月20日の v2.1.116 で解消している。ablation では、冗長性を抑える指示だけで eval が3%落ちた。思考を消すバグはキャッシュミスを生み、利用上限が想定より速く減るという報告の原因になっていた。全サブスクライバーの利用上限はリセットされ、今後の system prompt 変更にはモデルごとの eval スイート、soak 期間、段階的ロールアウトが課される。
- #products
- #evals
