16 則來自 16 位 builder

AI構建者摘要

真正在做 AI 的人今天說了什麼。一頁讀完,約 7 分鐘。

今天大家的注意力都落在 agent 幹活所需要的那些底層管道上:OpenAI 在 DevDay 前的一週裡一口氣推了五個 Astra 相關的東西,同時罕見地把質量投訴的原因講得很具體;Coinbase 則說清了為什麼刷卡那套清算體系撐不起機器與機器之間的支付。貫穿這一切的是對「怎麼衡量」的共同擔憂,三位 builder 各自表達了同一個意思:benchmark 分數已經沒法告訴你這個模型在你的實際工作裡好不好用。也有幾個人暫時放下產品話題,去紀念 9/11。

X

Thibault Sottiaux

OpenAI 一週內發了五個 Astra 產品,並點名質量下降的三個原因

Images 2.5、GPT-Live-1、一套 Agents API、Data Agent,還有面向金融行業的 ChatGPT,全都趕在 DevDay 之前落地,下週還有更多。這輪質量投訴沒有被含糊帶過,而是給了一份真正的覆盤:為老模型寫的 skills 觸發得太頻繁,反而擋住了模型檢查自己工作的機會;一項需要主動開啟的上下文管理實驗,導致大約 4000 到 5000 名使用者遇到提前中斷、以及回覆到更早那條訊息的情況,現在已經關掉;另外還有一批配置有問題的引擎在拖累長尾流量,已經下線。OpenAI 還請來了 Git AI 團隊的 Aidan 和 Sasha,他們那個開源工具能衡量 coding agent 對程式碼庫到底做出了多少實際貢獻,OpenAI 承諾會繼續讓它保持開源。

  • #products
  • #agents
Podcast

No Priors

agent 商業支付裡有 76% 不到 30 美分,低於刷卡渠道能承載的下限

刷卡渠道大約是 30 美分固定費再加一個百分比,所以碰上 agent 真正會發生的那類交易就徹底跑不通。Brian Armstrong 的說法是:「我們不希望這些 AI 成為沒有銀行賬戶的人。」現在只要貼上一句 prompt,Coinbase 就能給任意 agent 開一個自託管錢包,不需要 KYC,支付走 x402,這個協議由 Coinbase 孵化後捐給了 Linux Foundation,Google、Cloudflare 和 AWS 都有參與。公司內部則在追求遞迴式的自我改進:按倉庫、按團隊維護一個「大腦」,把每一次事故、每一項財務管控、每一個 AB test、每一個透過或被拒的 PR 都記進去,並強制要求人對 agent 工作的任何一次糾正都要寫回這個大腦。另外還披露了幾個數字:非 Bitcoin 交易已經佔到 88% 的收入,預測市場上線幾個月就做到 1 億美元的年化規模,代幣化股票已經在美國以外上線,是真實證券並按 1:1 託管。

  • #agents
  • #payments
X

Madhu Guru

Meta Sr Director of AI

企業 AI 的失敗,往往是中央團隊在替業務做,而不是和業務一起做

三種失敗模式:一是 CEO 找來一位信得過的副手,副手又拉來信得過的同事,於是把一套為「十五年漸進式改良」設計的團隊結構和釋出流程,原封不動搬到了一件需要實驗和發明的事情上。二是長期不在 evals 上投入,大多數公司甚至說不清什麼才算好。三是中央 AI 團隊自封為平臺,做出來的工具和真正幹活的人的工作流、判斷完全脫節,最後換來的是勉強的採用率和零生產力提升。解法是把你最好的 AI builder 放進財務、銷售和客服內部,而不是站在外面對著他們造東西。

  • #evals
  • #enterprise
X

Dan Shipper

Every CEO

Every 把三年的模型體感測試變成了每個人自己的 benchmark

benchmark 分數更高,幾乎說明不了這個模型處理你真實工作的能力,所以 Every 這三年一直在做的是另一件事:每出一個新模型,就寫一篇上手實測的長文評測。現在這些體感測試要量化了,Hammer 和 Nityesh 搭了一個內部平臺,團隊裡每個人都從自己的日常工作出發,構建一套屬於自己的 benchmark。

  • #evals
X

Peter Yang

軟體工廠目前還跑不通,而且沒人拿得出反例

除了驗證和測試之外,AI 還做不到在沒有人參與的情況下自我改進一個產品,或者端到端做出一個新功能。失敗方式很具體:讓它掛在那裡跑一整夜,只要有一個假設是錯的,整輪下來就全是燒掉的 token。這個公開挑戰值得認真對待,因為到現在也沒有人能說出哪個產品或功能是全程端到端做出來的,既沒有人定義需求,也沒有人檢查結果。另外是一個很乾淨的工具分工:本地的定時任務留在 Codex,雲端任務交給 Grok Bot。

  • #agents
X

Thariq

Claude Code 加入 plugin evals,讓 skills 扛得住模型升級

在 plugin 目錄下跑一句 `claude plugin eval init`,就能回答「換了新模型之後我的 skills 還好不好使」這個問題。更深一層的意思是,單純的透過/失敗分數已經幾乎沒法解讀了:很多 benchmark 上的失敗其實來自過於嚴苛的隱藏測試,有些情況下模型給出的答案反而比標準答案更合理。

  • #evals
  • #agents
X

Aaron Levie

Box CEO

Box 現在可以直接掛進 agent 的沙箱裡讀寫檔案

把 Box 掛進沙箱之後,agent 就能在自己的電腦上讀寫檔案。背後的理由是:agent 正在接手企業裡的關鍵工作流,它們需要人一直擁有的那些基本能力,首先就是一個真正的檔案系統。

  • #agents
  • #products
X

Guillermo Rauch

Vercel CEO

Tailscale 的 model router 跑在 Vercel AI Gateway 上

AI gateway 正在變成當年的 CDN:你當然可以直連源站,但很脆弱,而自己造一套既痛苦又貴。Tailscale 的 model router 現在就以 Vercel AI Gateway 作為底層基礎設施。

  • #products
X

Nikunj Kothari

FPV Ventures Partner

未來兩年,VC 的業績記錄會被悄悄改寫

大額退出和大幅估值提升本來就稀少,而這恰恰是募下一期基金的依據,所以成功的 VC 會為熱門專案的歸屬權爭得很兇。預測很具體:會有人的名字被從記錄裡抹掉,或者被「恰好」略過,因為大家都在修改歷史,好把贏家算到自己頭上。新晉 GP 受傷最重,業績記錄是他們面對未來 LP 時唯一拿得出手的東西。防守方式是和你的創始人保持緊密關係,他們才是真正的背景調查人。

  • #funding
X

Zara Zhang

一人公司被高估了,因為一個人做東西真的很孤獨

AI 確實讓一個人能做的事情多了很多,但這沒說到 cofounder 真正的意義。做一件全新的事是一種極其孤獨的體驗,你需要有人一起頭腦風暴、一起熬、一起慶祝。如果沒有和另一個人把自己綁在同一根桅杆上,動力是很容易崩掉的。

  • #startups
X

Peter Steinberger

Astra 靠 computer use 在雲端會話裡玩起了 Doom

把 Astra 跑在 OpenClaw 上,開一個雲端會話,讓 CUA 去操作機器,模型就把 Doom 玩起來了。Peter Steinberger 的評價是:算不上 AGI,但大概能贏過一隻蒼蠅的大腦。為了跑通這件事,他給 trycua 提了個補丁,讓按鍵在 Linux 下能穩定生效,不過他仍然認為這整體上是個靠譜的框架。

  • #agents
  • #open-source
X

Matt Turck

FirstMark Capital VC

選了 53 層而不是 104 層,一家在 9/11 裡倖存下來的創業公司

TripleHop 是一家 25 人的企業搜尋創業公司,做的事情大致就是今天 Glean 在做的,當時把辦公室設在了北塔,因為世界貿易中心正拿優惠條件招攬年輕的 dot-com 公司。他們選了更便宜的 53 層,而沒有選 104 層附近的那處空間,那裡視野好得難以置信,但等電梯要等到天荒地老。8 點 46 分那一刻,辦公室裡只有一名員工 Kenton Beerman,他毫髮無傷地脫了身;CTO 做的備份讓公司在當天結束前就重新運轉起來。幾周前第一次去紀念館,心裡想的是,其實只差一點點:晚一個小時,低幾層樓,或者換成另一處辦公室。

  • #startups
X

Garry Tan

Y Combinator President & CEO

考到 1600 應該解鎖一張更難的卷子,而不是讓衡量就此結束

SAT 滿分正好卡在這套工具不再提供任何資訊的地方,所以應該有第二張更難的考試,在 1600 之上再疊一個分數。而現實是考試被取消,招生變成隨機抽籤,卓越也就再沒辦法被識別出來。

  • #policy
X

Aditya Agarwal

SPC General Partner

SPC 開啟秋季系列,聊科技監管和加州的兩黨格局

擺在桌面上的問題是:怎麼在加州鼓勵真正的創新,怎麼讓加州變成一個兩黨競爭的州,以及科技應該被怎樣監管。整個秋天會有決策者陸續參與,第一位是 9 月 23 日的 Steve Hilton。另外還有一段關於 9/11 的回憶:當時他正在 CMU 的 Wean Hall 7500 教室裡上課聽到訊息,周圍的人因為有一架飛機接近匹茲堡而陷入恐慌,而他希望自己那時能有 United 93 上那些乘客的勇氣。

  • #policy

寄到你的信箱

每天一封。一鍵取消訂閱。

資料來源

來源資料出自 zarazhangrui 的開源專案 follow-builders,以 MIT 授權釋出。摘要由 LLM 依該專案的公開 feed 生成,摘要 prompt 亦改編自該專案。上面每一則都連結到原始出處。

摘要由程式自動生成。據此判斷前請先看原文。