Anthropic Engineering
Anthropic、Claude Code への1か月分の苦情を3つの別々の変更に突き止める
無関係な3つの変更が重なって、あたかも1つの広範な品質低下のように見えていた。3月4日にデフォルトの reasoning effort が high から medium に下がった。3月26日のキャッシュ最適化は、古い thinking を一度だけ消すはずが、セッションの残り全ターンで消してしまい、Claude は物覚えが悪くなり、cache miss で利用上限を食い潰した。4月16日には応答を100語に制限する system prompt の一行が入り、Opus 4.6 と 4.7 で eval が3%低下していた。API は一度も影響を受けておらず、3件とも v2.1.116 で修正済み。利用上限は全サブスクライバー分をリセットする。今後は system prompt を変更するたびにモデルごとの eval スイートを回し、行単位の ablation を行い、知能とトレードオフになりうる変更には soak 期間を設ける。
- #products
- #evals
