91爆料免费爆料视频微软万引理论大佬跳槽OpenAI！入职第一天：这里人才密度简

51cg今日吃瓜 2025-06-13 41

　　2021年，他曾用一篇理论研究展示扩大AI模型规模的重要性，帮助说服微软CEO纳德拉在AI基础设施上增加数十亿美元的投资。

　　他的职业生涯前15年都投入在计算机理论和机器学习理论，研究的是凸优化、在线学习和对抗稳健性这些问题，直到——

　　微软作为OpenAI合作伙伴，派他参与了未安全对齐版GPT-4早期测试，期间他来了一场戏剧性的转型。

　　在当时外界还只接触过GPT-3.5的背景下，看起来就像“理论学者转型研究科幻了”，而他本人是这么解释的：

　　之后他便带领微软团队发布一篇154页的GPT-4实验报告《AGI的火花》，一时引起全业界轰动，成为人们对AI过高期待的重要推手。

　　后来他承认过当时的实验方法并不算严格，但并不后悔，并坚持“没有证据否定GPT-4已经具有一定推理能力”。

　　在转型期间的一次演讲中，他分享了自己对“Transformer到底有什么特别之处”的思考，指出很多人容易忽略的一点：Transformer不是序列模型。

　　同时，现在也是OpenAI和微软联盟渐渐破裂的时刻，奥特曼和OpenAI首席财务官近期对员工抱怨，微软行动速度不够快，没有提供足够的服务器。

　　两家开始相互视对方为备胎，OpenAI找了甲骨额外的云计算供应商，微软也开始在旗下产品中接入谷歌和Anthropic模型。

　　这篇论文解释了为什么实践中训练模型需要的参数比理论建议的要多得多，帮助说服微软CEO纳德拉和微软研究院院长Peter Lee等，在AI基础设施上增加数十亿美元的投资。

　　Peter Lee后来表示“这是整个人工智能之旅中非常重要的时刻，不仅对于微软，而是对于所有大型科技公司”。

　　随后他就在微软开启了Phi系列小模型研究，控制训练数据中只有教科书级别的高质量数据和合成数据，并发表论文《Textbook is all you need》。

　　到现在Phi系列小模型已迭代到phi-3.5版本，在本地大模型推理工具ollma上，开源模型中受欢迎程度排第5。

　　Bubeck在《AGI的火花》论文中，展示了满血版GPT-4通过代码画独角兽的能力，随训练进度增长飞快。