OpenAI总裁断言:网络安全支出该超过软件开发本身支出
软件因AI变得极度廉价,可靠与安全才是真正稀缺的东西——OpenAI内部曾让四分之一工程师停工专职补漏洞。
原视频在 YouTube 上放不出来,用音频听:
核心论点 · 点时间戳可跳到原声
AI 已经能产出真正的新知识
Greg Brockman说这周的数学成果是一个里程碑——不是机器算出一个答案那么简单,而是人类长期解不开的百年数学难题被证明可以攻克。他说过去一直有个悬而未决的问题:AI到底能不能产生真正的新知识?现在答案确定无疑是肯定的。他强调目前还没到提出全新大理论的阶段,但已经能解出困扰人类上百年的具体数学问题,OpenAI这次公开了近400个被解决的重要开放问题,供数学界检验其中的洞见,而不只是看一个没人能理解的证明。
— Greg Brockman人类看不懂答案时怎么监督AI
当AI解决的问题已经超出人类直接核验的能力——比如判断一本书的摘要好不好,除非你读完整本书——OpenAI从2017年就在研究debate和iterative amplification这类技术:让另一个AI去找出摘要里遗漏的关键情节,人类只需要判断这个反驳是否成立,而不必亲自验证全部内容。Greg Brockman认为这类技术让人类始终保持在驾驶座上,是AI安全对齐里一个被低估的方向。
— Greg Brockman数学能被AI攻克,生物为什么不行
Greg Brockman指出AI在数学和理论物理上突破的核心原因不是模型更聪明,而是这些领域能产生大量数据,而算力加数据加算法等于能力是深度学习的基本物理规律。生物学恰恰是典型的数据瓶颈领域——神经网络本身没有理由天生更擅长语言而不擅长生物,语言上取得的突破理应能套用到生物上,前提是能拿到数据。他坦承这个问题尚未解决:到底有没有办法获取足够的生物数据,决定了下一步能走多快。
— Greg Brockman人类其实很不擅长做药物研发
一款药从研发到上市大约要15年、花费15亿美元,其中约5000万美元是临床前的小鼠实验等阶段,14亿美元以上砸在临床试验上。Greg Brockman的判断是:人类对自然语言天生适应,但对生物学完全陌生;而神经网络没有理由天生更擅长语言、不擅长生物,所以语言模型上的突破应该同样能套用到破解生物学的语言上——这是他把药物研发列为AI改造科学头号目标的第一性原理依据。
— Greg BrockmanDots 改变了 Greg 自己的工作方式
Dots是一个始终在线、主动工作的agent——人停下来它还在继续跑。Greg Brockman每天早上醒来都有一张它自己生成的待办清单,里面经常是他从没要求它注意的事,比如日程冲突、你得提前离开这场会议才能赶上下一场。它接入了他的邮箱、Slack和日历,了解他在做的项目,知道他最近在问什么问题。他说Dots代表的变化不是模型能力的提升,而是形态的改变——同样是顶尖模型,放进一个主动式agent的外壳里,在职场场景下是一个game changer。
— Greg Brockman最好的界面是没有界面
Greg Brockman认为AI产品正在走向没有UI——说话、发Slack、发iMessage都能触达它,Dots现在就是这样工作的。但企业场景和个人场景不同:企业里有管理员、安全团队等更多利益相关方,功能上线要有开关控制,这反而带来一个新问题——没有UI的产品要怎么告诉用户这个功能在你这边是关掉的。另一面是生成式UI:比如问AI怎么组装一辆自行车,它可以临时给你生成一个定制小程序,而这是人类不可能专门花一个月去写的东西。
— Greg Brockman防御者窗口期正在关闭
Greg Brockman提出防御者窗口的说法:目前最前沿的AI能力能帮防御方把系统修补得更安全,但这些能力还没有被广泛扩散;与此同时,普通人都能用到的网络攻击能力正随每一次模型发布水涨船高——他举了韩国银行被不同模型驱动的攻击攻破的例子。他认为互联网的历史包袱是为韧性而建,而不是为安全而建,这些历史欠账正在被AI暴露出来,OpenAI为此设立了10亿美元规模的Daybreak计划,帮前线防御者用上顶尖模型去发现并修补漏洞。
— Greg Brockman安全支出应该远超软件支出
Greg Brockman认为随着软件开发成本因AI大幅下降,你想要的从来不只是软件,而是可靠、安全、值得信赖的软件,所以网络安全支出理应远远超过软件本身的支出。他用内部实践印证这个判断:OpenAI曾让25%的生产工程师暂停所有项目,专职用当时最强的模型去排查自家全部基础设施的漏洞,修完之后把工具沉淀下来,每次新模型发布都要重复一遍排查、修复、饱和的流程,而且这个循环会一直持续下去。
— Greg Brockman原话 · 已逐字校验
And there's always been this question of, is AI actually able to come up with new knowledge? And at this point, it's just impossible to deny, right? It is definitively, yes, possible.
一直以来都有一个问题:AI到底能不能产出真正的新知识?现在这一点已经不容否认——答案确定无疑是肯定的。
Greg Brockman2:06
So Dots is a proactive agent. It's always on, always working. You stop working, it keeps working.
Dots是一个主动式agent,始终在线、持续工作。你停下来了,它还在继续跑。
Greg Brockman17:47
So first of all, I think that the best UI is no UI. And I think in AI, that is where we're going.
首先,我认为最好的UI就是没有UI。我觉得AI正朝着这个方向发展。
Greg Brockman23:06
I do think the physics of cybersecurity are changing. And we're in what we call the defender's window.
我确实认为网络安全的底层物理规律正在改变。我们现在处于所谓的「防御者窗口期」。
Greg Brockman27:14
we took about 25% of our production engineers and said, all of your projects are on hold, you are just securing now.
我们让大约25%的生产工程师暂停了所有项目,专职去做安全排查。
Greg Brockman30:27
I have a feeling that cyber spend, security spend, should actually vastly outstrip software spend.
我有一种感觉,网络安全支出其实应该远远超过软件本身的支出。
Greg Brockman33:29
We think that humans should be firmly in the driver's seat, should have control over the future, and that this technology should amplify human agency.
我们认为人类应该牢牢掌握方向盘,应该掌控未来,这项技术应该放大人的能动性。
Greg Brockman36:36
story of why Steve Jobs put the handle on the iMac, right, so that that way people could feel that they could control the machine, right, that you can always pick it up and throw it out the window.
这就是史蒂夫·乔布斯当年为什么要在iMac上装一个提手的故事——这样人们能感觉自己能控制这台机器,随时可以把它拎起来扔出窗外。
Greg Brockman37:40
数字与实体
| OpenAI公开解决的百年数学难题数量 | 近400个 | 5:09 |
| 一款药平均研发周期 | 15年 | 12:23 |
| 一款药平均研发总成本 | 15亿美元 | 12:23 |
| 药物临床前阶段成本 | 约5000万美元 | 12:23 |
| 药物临床试验阶段成本 | 14亿美元以上 | 12:23 |
| ChatGPT消费者用户数 | 12亿 | 22:04 |
| 内部安全排查投入的工程师比例 | 25%的生产工程师暂停项目专职做安全 | 30:27 |
术语
- DotsDots
- OpenAI内部使用的主动式常驻agent,持续追踪待办与日程,人停下来它仍在工作
- DaybreakDaybreak计划
- OpenAI向网络防御者开放顶尖模型能力的项目,承诺投入10亿美元
- defender's window防御者窗口期
- 顶尖AI安全能力尚未被攻击者广泛获取的有限时间窗口
- debate / iterative amplification辩论式监督/迭代放大
- 让另一个AI挑错,帮人类监督超出自身核验能力的AI输出
- generative UI生成式UI
- AI根据当下需求实时生成定制界面,而非使用固定菜单按钮
收听指南
想了解AI在科学发现、药物研发和网络安全防御上实际进展的创业者、投资人与工程负责人
片尾的订阅号召(38:28之后)可以跳过