世界太吵,來原聲聽播客

This Week in Startups

90% 的 AI 原型死在 POC:缺的不是模型是 harness

模型再強也扛不住中途崩潰——退款發到一半進程掛了,客戶收到兩筆錢。把狀態從 agent 裡抽出來、交給 harness 託管,才是從筆記本走進生產的分界線。

AI Agent持久化執行生產化分布式系統企業安全

原視頻在 YouTube 上放不出來,用音頻聽:

19 分鐘講清一個被忽略的工程真相:agent 上生產的瓶頸不是模型能力,而是持久化執行。適合正在把 demo 推向生產的團隊。

核心論點 · 點時間戳可跳到原聲

2:05

90% 的 AI 原型死在 POC 之後

Samar 說,現在人人都能靠 coding agent 把想法變成應用,但 90% 的想法在 POC 之後就死了,永遠見不到天日。死因不是模型不夠聰明,而是「不穩定、脆弱、不可複製」。Jason 說他天天在組織里看到這一幕:有人興奮地演示一個東西,他問「能上生產嗎」,答案永遠是「我不知道,感覺不行,但也許吧」。POC 和生產級軟件之間那道鴻溝,就是這一集要拆的東西。

— Samar Abbas
3:08

agent 越值錢,就越像分布式系統

Samar 的觀察是:AI 應用一旦上生產,運行時間就越來越長、越來越異步、在真實世界裡做的動作越來越多,創造的價值也越大。但一走到這一步,撞上的就是可靠性、可擴展性、持久性這些基礎設施級挑戰——和當年雲平臺遷移時一模一樣。他的判斷是:這些問題本質上是分布式的,而不是全新的 AI 問題。agent 從筆記本畢業進入真正的分布式環境,問題就換了性質。

— Samar Abbas
5:21

退款發到一半崩了,你要發第二筆嗎

Samar 給的畫面很具體:一個 agent 正在處理退款,剛處理完退款、還沒通知客戶,機器重啟或進程崩潰了。這時候你只有兩個選項——要麼重跑,要麼再發一筆退款。Jason 接話:那可能會很貴。Samar 說,處理這類失敗正是所有生產系統卡住的地方,因為 AI 開始在真實世界裡採取行動。Temporal 提供的叫 durable execution:代碼執行過程中發生失敗,平臺替你記住全部狀態,開發者一行代碼都不用寫,應用仍能在各種失敗下繼續向前推進。

— Samar Abbas
7:30

把 agent 的 HUD 顯示出來給人看

Jason 看了 Temporal 的界面後說,左上角是工作流代碼,右邊是運行時事件時間線,能實時看到 agent 在執行工具、調用 LLM、拿回響應、一步步向前推進,底部是應用實際產出的輸出。他說自己從沒見過有人把幕後過程展示出來,希望每個消費級產品都有這樣一個 HUD,讓他對「我上次做到哪了」更有信心。Samar 補充:Temporal 不只是事務引擎,還給你對 agentic 應用的完整可見性——agent 就是選一個 LLM、給個 prompt、配一組工具,由 LLM 自己決定怎麼推進。

— Jason Calacanis
11:52

code mode 讓安全團隊睡不著覺

Samar 提出一個被低估的風險:現在有一種 code mode,agent 在解題過程中會現場生成更多代碼並執行它。想像一家大企業把大型業務流程交給這種 code mode agent——你等於把 LLM 在運行時吐出來的代碼直接跑進業務環境,從安全視角看非常令人不安。Temporal 用 workflows 和 activities 兩個構造來應對:workflows 負責生成命令,平臺可以攔截這些命令,在真正進入沙箱或運行時之前加上必要的護欄。

— Samar Abbas
13:02

harness 是從 MS-DOS 走向雲的那一步

Samar 用了一個比喻:現在正從 agent 的 MS-DOS 時代過渡到真正的雲環境。今天大多數人跑 agent 的方式,就是在筆記本上裝個 coding agent 然後跑起來。但人們已經開始構建 loop,甚至出現了 loop engineering、graph engineering 這些說法,意味著 agent 要更獨立、更長時間地運行,也就必然從筆記本搬到分布式環境。這時 harness 成為核心組件——它是被抽出來的「大腦」,放在 agentic loop 之外,這樣 agent 走錯路時不會把整個流程搞崩。

— Samar Abbas
16:01

企業永遠不會允許 agent 跑在筆記本上

Jason 問:怎麼判斷該把桌面上玩的那個 agent 挪進生產循環?Samar 的回答很硬:企業根本不可能採用這些 agent 架構,除非能在所需護欄下運行業務流程,所以沒有企業會允許 agent 跑在筆記本上——對企業來說這是 table stakes。他給出一條更普適的畢業信號:當你從一個人解決問題,變成一支團隊在解決複雜業務問題,唯一可行的路徑就是讓 agent 跑在分布式環境裡。這時候 forward deployed engineer 必須嵌入業務單元,用對的工具把它建對,讓它不脆弱。

— Samar Abbas

原話 · 已逐字校驗

But 90% of those ideas die after a POC, essentially. They never see light of the day.

但 90% 的想法在 POC 之後就死了,永遠見不到天日。

Samar Abbas2:05

these problems start to look more and more similar to like distributed in nature rather than a completely new AI problem

這些問題開始越來越像是分布式性質的問題,而不是一個全新的 AI 問題。

Samar Abbas3:08

Imagine an agent which is kind of building, processing a refund and literally, immediately after processing a refund, a failure happens.

想像一個 agent 正在處理退款,就在處理完退款之後,失敗立刻發生了。

Samar Abbas5:21

Where during an execution of a code, if a failure happens, we remember all of that state. Without you as a software developer writing a single line of code for it.

在代碼執行過程中,如果發生失敗,我們會記住全部狀態,而你作為軟件開發者一行代碼都不用寫。

Samar Abbas6:26

i feel right now we are transitioning from an ms dos era of agents to a real cloud environment essentially

我覺得現在我們正從 agent 的 MS-DOS 時代過渡到真正的雲環境。

Samar Abbas13:02

which means like none of the enterprises will ever allow these agents to run on a laptop, essentially. So for them, it's core table stakes, in my opinion.

這意味著沒有企業會允許這些 agent 跑在筆記本上。所以對他們來說,這是核心的入場門檻。

Samar Abbas16:01

I think at this point, running agents on your laptop is no longer even an option.

我認為到了這個階段,在筆記本上跑 agent 已經不再是一個選項了。

Samar Abbas17:03

數字與實體

POC 後死掉的 AI 想法比例90%2:05

術語

harness執行框架
抽離在 agent 循環之外的「大腦」,負責協調、持久化和容錯。
durable execution持久化執行
代碼執行中發生失敗時自動保存全部狀態,讓應用繼續向前推進。
code mode代碼模式
agent 在解題過程中現場生成並執行新代碼的工作方式。
forward deployed engineer前置部署工程師
嵌入業務單元、用對的工具把 agent 系統建到生產標準的工程師。

收聽指南

誰該聽

正在把 AI demo 推向生產的工程負責人、平臺架構師,以及要給 agent 上護欄的 CTO。

可跳過

0:00-1:00 開場介紹和嘉賓履歷,可跳過。