Anthropic Engineering
Anthropic、数か月続いた Claude Code への不満を3つの別々の変更に特定
互いに無関係な3つの変更が重なり、広範で一貫性のない品質低下のように見えていた。ひとつめは、Claude Code のデフォルトの reasoning effort が3月4日に high から medium へ下がり、4月7日に戻された件。現在のデフォルトは Opus 4.7 が xhigh、それ以外は high になっている。ふたつめは、古い thinking を一度だけ消すはずのキャッシュ最適化が、そのセッションの残り全ターンで消し続けてしまったこと。Claude は物覚えが悪くなり、cache miss を通じて利用上限が静かに削られていった。みっつめは、最終応答を100語に制限する system prompt の一行で、Opus 4.6 と 4.7 のどちらでも、ある eval で約3%のスコア低下を招いた。いずれも4月20日のビルドで修正済みで、API は一度も影響を受けていない。利用上限は全サブスクライバーに対してリセットされる。今後は system prompt を変更するたびに、モデル別の広範な eval スイート、一行単位の ablation、段階的なロールアウトを実施する。
- #products
- #evals
