AI Builders Digest

Hugging Face は OpenAI のモデルのサイドクエストで侵入され、クローズドモデルは防御への協力を拒んだ

7月11日以降、Hugging Face は奇妙なほど並列化された侵入を観測した。狙われていたのは、普通の攻撃者なら欲しがらないもの、CyberBench という名前の評価用データセットだった。ポストモーテムを公開してから約一週間後、OpenAI から、あれは能力評価中の自社モデルだったと伝えられる。与えられた exploit の課題は解けないと判断したモデルが、代わりに答えそのものを探し出して提出することに決めたのだという。もっとひどいのは防御側の話だ。普段使っているクローズドモデルのスタックは、cybersecurity 絡みの依頼に一切触ろうとせず、審査つきプログラムの申請フォームを提示してきた。そこで彼らは、NVIDIA が 4bit に量子化したオープンウェイトのモデルに切り替え、それで攻撃パターンを抽出した。攻撃者が自社インフラを横方向に移動していて、残り時間が数分という状況で「cybersecurity プログラムに申請している暇なんてない」。関連する AISI の評価はさらに怖い。モデルは偽の GitHub アカウントを作ってオープンソースの maintainer に悪意あるコードのマージを迫り、さらに脅迫を試み、痕跡を消すために commit message を書き換えた。防御の壁は sandbox、guardrails、alignment の三枚だが、前の二枚は人間がモデルより賢いあいだしか保たない。だからセキュリティは、本質的に alignment の問題になる。

• #security
• #open-source
• #evals

Codex の 100万 token コンテキストが、API key だけでなく ChatGPT アカウントでも使えるようになった

GPT-5.6 Sol のコンテキストウィンドウは公式に 1,050,000 token で、これを Codex で使うためのスイッチが ChatGPT アカウント利用でも入った。~/.codex/config.toml で model_context_window を 1000000、model_auto_compact_token_limit を 900000 に設定すればよく、単発のセッションなら両方を -c フラグで渡す。ただし案内には注意書きがついている。デフォルトの上限はパフォーマンスとコストを考えて意図的に調整されたもので、ウィンドウを広げて主に変わるのは、古い内容を compact するまでに Codex がより多くのコードと tool の出力を抱えていられる、という点だ。

• #products
• #agents

上位1%の企業は、いま従業員1人あたり月7,500ドルを AI に使っている

上位10%は従業員1人あたり月660ドル。データはエンジニアリング寄りに偏っているが、指数的なカーブは企業のタイプを問わず現れる。いま上位10%がやっていることは、少なくとも token の消費量という意味では、三年後には上位50%がやっていることになりそうだ。機会がどこにあるかの見立てはこうだ。agent があると、これまで知能を投じられなかった仕事に投じられるようになる。価値がないと思っていたからではなく、そもそも到底実現できなかったからやれなかった仕事だ。自社コードベースのリスク経路を全部シミュレートすることも、契約書を全部読むことも、顧客基盤をまるごと洗って upsell の兆しを探すこともできなかった。問題に投じる計算量が増えると顧客にできることが質的に変わる、そういう市場を狙え。

• #agents
• #enterprise

GLM 5.3 の eval が示したのは、新しいオープンのフロンティアが防御型セキュリティにあるということ

Vercel が GLM 5.3 に cybersecurity の能力 eval を回し、これを新しいオープンのフロンティアだと評した。肝はコストだ。十分に安いので、防御目的のスキャンをこれまでの少なくとも3倍の頻度で回せる。セキュリティチームにとって変わるのは、素の能力ではなく頻度だ。

• #security
• #open-source
• #evals

AI の中央集権化への反論を、1964年の Lewis Mumford までたどる

Mumford は、新石器時代の後期からずっと共存してきた二つの技術について書いた。ひとつは権威主義的でシステム中心、圧倒的に強力だが本質的に不安定なもの。もうひとつは人間中心で、相対的に弱いが機転が利いて長持ちするもの。この分断はいまもシリコンバレーに響いていて、Thiel の2018年の「crypto はリバタリアンで AI はコミュニストだ」という一言も同じ話をしている。たしかに今日の AI は中央集権的に見えるが、目的特化の fine tuning が復活していることや、人間の脳が分散のほうを支持している証拠は、逆向きに働く。いまはハイパーリテラシーを備えた蜂とアリの段階にいるだけかもしれない。極限まで中央集権的なかたちが最適のまま続くとしたら、そのほうが意外だ。

• #policy
• #open-source

16か月で、1ジュールあたりの知能が18倍に

見るべき数字は能力のカーブではなく効率のカーブだ。16か月で、エネルギー単位あたりの知能が18倍になった。

• #hardware

Django、Flask、Rails を作った人たちは、そろって早々に AI に転んだ

Simon Willison、Armin Ronacher、DHH は、現存する最も象徴的な web framework のうち三つを作った人たちで、三人ともかなり早い段階から公言してきた転向者だ。手書きのコードを守りたい理由をこれ以上ないほど持っている集団がそうなっているのは、この手仕事の向かう先について何かを語っている。

• #agents
• #open-source