90% 的 AI 原型死在 POC:缺的不是模型是 harness
模型再強也扛不住中途崩潰——退款發到一半進程掛了,客戶收到兩筆錢。把狀態從 agent 裡抽出來、交給 harness 託管,才是從筆記本走進生產的分界線。
原視頻在 YouTube 上放不出來,用音頻聽:
核心論點 · 點時間戳可跳到原聲
90% 的 AI 原型死在 POC 之後
Samar 說,現在人人都能靠 coding agent 把想法變成應用,但 90% 的想法在 POC 之後就死了,永遠見不到天日。死因不是模型不夠聰明,而是「不穩定、脆弱、不可複製」。Jason 說他天天在組織里看到這一幕:有人興奮地演示一個東西,他問「能上生產嗎」,答案永遠是「我不知道,感覺不行,但也許吧」。POC 和生產級軟件之間那道鴻溝,就是這一集要拆的東西。
— Samar Abbasagent 越值錢,就越像分布式系統
Samar 的觀察是:AI 應用一旦上生產,運行時間就越來越長、越來越異步、在真實世界裡做的動作越來越多,創造的價值也越大。但一走到這一步,撞上的就是可靠性、可擴展性、持久性這些基礎設施級挑戰——和當年雲平臺遷移時一模一樣。他的判斷是:這些問題本質上是分布式的,而不是全新的 AI 問題。agent 從筆記本畢業進入真正的分布式環境,問題就換了性質。
— Samar Abbas退款發到一半崩了,你要發第二筆嗎
Samar 給的畫面很具體:一個 agent 正在處理退款,剛處理完退款、還沒通知客戶,機器重啟或進程崩潰了。這時候你只有兩個選項——要麼重跑,要麼再發一筆退款。Jason 接話:那可能會很貴。Samar 說,處理這類失敗正是所有生產系統卡住的地方,因為 AI 開始在真實世界裡採取行動。Temporal 提供的叫 durable execution:代碼執行過程中發生失敗,平臺替你記住全部狀態,開發者一行代碼都不用寫,應用仍能在各種失敗下繼續向前推進。
— Samar Abbas把 agent 的 HUD 顯示出來給人看
Jason 看了 Temporal 的界面後說,左上角是工作流代碼,右邊是運行時事件時間線,能實時看到 agent 在執行工具、調用 LLM、拿回響應、一步步向前推進,底部是應用實際產出的輸出。他說自己從沒見過有人把幕後過程展示出來,希望每個消費級產品都有這樣一個 HUD,讓他對「我上次做到哪了」更有信心。Samar 補充:Temporal 不只是事務引擎,還給你對 agentic 應用的完整可見性——agent 就是選一個 LLM、給個 prompt、配一組工具,由 LLM 自己決定怎麼推進。
— Jason Calacaniscode mode 讓安全團隊睡不著覺
Samar 提出一個被低估的風險:現在有一種 code mode,agent 在解題過程中會現場生成更多代碼並執行它。想像一家大企業把大型業務流程交給這種 code mode agent——你等於把 LLM 在運行時吐出來的代碼直接跑進業務環境,從安全視角看非常令人不安。Temporal 用 workflows 和 activities 兩個構造來應對:workflows 負責生成命令,平臺可以攔截這些命令,在真正進入沙箱或運行時之前加上必要的護欄。
— Samar Abbasharness 是從 MS-DOS 走向雲的那一步
Samar 用了一個比喻:現在正從 agent 的 MS-DOS 時代過渡到真正的雲環境。今天大多數人跑 agent 的方式,就是在筆記本上裝個 coding agent 然後跑起來。但人們已經開始構建 loop,甚至出現了 loop engineering、graph engineering 這些說法,意味著 agent 要更獨立、更長時間地運行,也就必然從筆記本搬到分布式環境。這時 harness 成為核心組件——它是被抽出來的「大腦」,放在 agentic loop 之外,這樣 agent 走錯路時不會把整個流程搞崩。
— Samar Abbas企業永遠不會允許 agent 跑在筆記本上
Jason 問:怎麼判斷該把桌面上玩的那個 agent 挪進生產循環?Samar 的回答很硬:企業根本不可能採用這些 agent 架構,除非能在所需護欄下運行業務流程,所以沒有企業會允許 agent 跑在筆記本上——對企業來說這是 table stakes。他給出一條更普適的畢業信號:當你從一個人解決問題,變成一支團隊在解決複雜業務問題,唯一可行的路徑就是讓 agent 跑在分布式環境裡。這時候 forward deployed engineer 必須嵌入業務單元,用對的工具把它建對,讓它不脆弱。
— Samar Abbas原話 · 已逐字校驗
But 90% of those ideas die after a POC, essentially. They never see light of the day.
但 90% 的想法在 POC 之後就死了,永遠見不到天日。
Samar Abbas2:05
these problems start to look more and more similar to like distributed in nature rather than a completely new AI problem
這些問題開始越來越像是分布式性質的問題,而不是一個全新的 AI 問題。
Samar Abbas3:08
Imagine an agent which is kind of building, processing a refund and literally, immediately after processing a refund, a failure happens.
想像一個 agent 正在處理退款,就在處理完退款之後,失敗立刻發生了。
Samar Abbas5:21
Where during an execution of a code, if a failure happens, we remember all of that state. Without you as a software developer writing a single line of code for it.
在代碼執行過程中,如果發生失敗,我們會記住全部狀態,而你作為軟件開發者一行代碼都不用寫。
Samar Abbas6:26
i feel right now we are transitioning from an ms dos era of agents to a real cloud environment essentially
我覺得現在我們正從 agent 的 MS-DOS 時代過渡到真正的雲環境。
Samar Abbas13:02
which means like none of the enterprises will ever allow these agents to run on a laptop, essentially. So for them, it's core table stakes, in my opinion.
這意味著沒有企業會允許這些 agent 跑在筆記本上。所以對他們來說,這是核心的入場門檻。
Samar Abbas16:01
I think at this point, running agents on your laptop is no longer even an option.
我認為到了這個階段,在筆記本上跑 agent 已經不再是一個選項了。
Samar Abbas17:03
數字與實體
| POC 後死掉的 AI 想法比例 | 90% | 2:05 |
術語
- harness執行框架
- 抽離在 agent 循環之外的「大腦」,負責協調、持久化和容錯。
- durable execution持久化執行
- 代碼執行中發生失敗時自動保存全部狀態,讓應用繼續向前推進。
- code mode代碼模式
- agent 在解題過程中現場生成並執行新代碼的工作方式。
- forward deployed engineer前置部署工程師
- 嵌入業務單元、用對的工具把 agent 系統建到生產標準的工程師。
收聽指南
正在把 AI demo 推向生產的工程負責人、平臺架構師,以及要給 agent 上護欄的 CTO。
0:00-1:00 開場介紹和嘉賓履歷,可跳過。