2012 年春节前夕,李彦宏特地抽出时间,在北京接见了一位从硅谷飞来、在国内名不见经传的技术青年。这人三十来岁,戴着黑框眼镜,圆脸,个子不高,但口中所言句句都让李彦宏兴奋不已。这个人,就是时任硅谷NEC Lab主任的余凯,一位深度学习早期的少数派和虔诚信徒。眼下,他有种强烈的感受,人工智能将很快在产业中爆发其技术潜力,而国内如火如荼的互联网正是一片沃土,这是回国的好时机。李彦宏就在这时找到了余凯。谷歌全面退出中国内地市场后,百度正是春风得意。对技术敏感的李彦宏紧跟国内外顶尖科技团队动态,很快察觉到人工智能会为百度带来新的机会,开始四处寻找人才。两人见面,余凯布道深度学习,李彦宏则大谈自己对语音识别和图像识别的兴趣。双方内心都有一种相见恨晚的激动与澎湃。也就是在这一天,余凯与李彦宏为百度和中国 AI 做了一次历史性的相互选择:李彦宏抛出橄榄枝,邀请余凯回国。在大时代洪流的驱使下,余凯毅然结束了硅谷六年生涯,回国加入百度,成立多媒体部,开始研究语音识别和图像识别。此前,百度在 AI 方面的研究积累几乎为零,余凯加入后,百度才率先注入深度学习的基因。余凯在短短几个月里,为李彦宏兜售了深度学习的潜力。李彦宏一次次受到震撼,甚至给全公司的产品经理发信,要求他们必须重视「深度学习」这门技术。深度学习的另一代名词「神经网络」也开始在国内传开,百度首先养活了国内最早一批做数据标注的公司。不过,真正让李彦宏下定决心「重仓」深度学习的,是 2012 年 12 月余凯代表百度参加的一场竞拍失利。Geoffrey Hinton 团队研发出的神经网络 AlexNet 在全球顶级图像识别大赛 ImageNet 上一举夺冠,在世界范围内引起轰动,余凯作为曾经的冠军深受感触,也更知道 AlexNet 所代表的 AI 技术范式的颠覆性。于是,他立即给 Hinton 发去一封邮件,表达想要合作的迫切期待。这封邮件启发了 Hinton 在当年 NIPS 大会上发起一场秘密竞拍,吸引了全球四家也是如今在 AI 领域大名鼎鼎的领头羊:谷歌、微软、百度与 DeepMind。百度出价到数千万美元,最终惜败谷歌。但借余凯的眼,李彦宏目睹了美国的有力对手追求深度学习的疯狂,感受到了危机。次年 1 月,李彦宏即筹备成立了全球第一家以「深度学习」命名的 AI 实验室——百度深度学习研究院(IDL)。李彦宏亲任院长,余凯担任常务副院长。
时隔多年回看,那场竞拍第一次暗示了中美科技巨头在 AI 领域的较量:谷歌胜出后,Hinton 加入谷歌开启了美国深度学习的浪潮,而余凯则借助百度的平台,在人才引入与技术推动中,奇点般地将中国互联网企业拽进了下一个黄金时代:人工智能时代。余凯是百度 IDL 早期的实际运作者。在他的影响下,百度吸引了一大批杰出 AI 科学家,如飞桨平台的创始人徐伟、后来地平线的联合创始人黄畅以及后来百度研究院院长林元庆。巧合的是,历史上他们都曾在同一个地方插下到访的旗帜:硅谷NEC Lab。以这批 NEC 注入百度的人才为中心,尤其是余凯,他们又虹吸了更多的科学家,如吴恩达。百度的「少帅计划」最初由李彦宏提出,目的是吸引年轻人才,余凯主力游说了李沐(后亚马逊 AI 首席科学家,现大模型创业公司 Boson.ai 创始人)、李磊(后字节跳动 AI Lab 总监)、顾嘉唯(现物灵科技 CEO)加入。中国最早的自动驾驶项目也诞生在 IDL。倪凯、杨文利、张天雷等自动驾驶元老,都是余凯当时为该项目招进去的第一批员工。其他人物如张潼(后腾讯 AI Lab 主任)、贾扬清(后阿里技术副总裁,现大模型框架创业者),也都跟 NEC 或 NEC 的人在 AI 走向中国企业的过程中有所交集。他们中的大多数人都成为了中国企业里知名的 AI 科学家,但背后这座影响了他们的飞地以及飞地的故事,则少为人知。
01
各路贤才齐聚「硅谷心脏」
009 年 10 月,国际视觉挑战赛 Pascal VOC 的结果在日本京都的 ICCV 大会上揭晓,一个来自 UIUC 与 NEC 的合作团队摘得分类赛道冠军,图像识别精度甩开第二名 5%。硅谷NEC Lab开始声名远扬。Pascal VOC 在当时被誉为计算机视觉界的「世界杯」。时任 NEC 主任的龚怡宏聚集了实验室里几个最擅长图像研究的青年人才,如余凯、徐伟、王进军、吕凤军,与 UIUC 「华人视觉之父」黄煦涛的学生杨建朝和周曦一起,投入五个月,研发出一个新的稀疏编码模型来做图像识别,没想一举世界杯夺冠。龚怡宏有些意外。那一年,正好是他加入 NEC 硅谷的十周年。十年前,1999年,硅谷 NEC 一个华人科学家也没有,他是第一个加入 NEC 的华人。十年后,NEC 已经聚集一批优秀的青年 AI 研究者。尽管人工智能在当时仍是不温不火,但在他们的带领下,NEC 美国研究院逐渐成为了国际机器学习重镇之一。
龚怡宏为硅 NEC Lab引进第一批从事人工智能研究的华人科学家。2001 年,他首先找到了 CMU 硕士毕业的徐伟,一个不可多得的天才。徐伟本科在清华大学就读,在神经网络还处于低潮期时就已经开始研究。1998 年毕业后,他去 CMU 读硕士,提出了一个神经网络语言模型,是世界上最早用神经网络(即后来的「深度学习」)方法研究自然语言处理的开山之作。依徐伟的水平,继续深造、拿下博士学位完全不成问题,但他更想马上将神经网络技术应用到工程问题中,就没有申请读博,而是出来找工作。龚怡宏看人很准,立即引进徐伟。徐伟是龚怡宏为 NEC 招入的第一个 CMU 人才,与徐伟同期的还有「NEC 大师姐」韩玫。
同一年,龚怡宏还招进一位暑期实习生,名叫朱胜火,在罗彻斯特大学读博士三年级。朱胜火 1994 年从浙江大学本科毕业,之后去清华读研,跟着黄昌宁和周明做自然语言处理和机器翻译研究。1997年,他又到罗彻斯特大学继续深造机器学习。博士读到中期,朱胜火慕名来 NEC 实习,他数学能力出众,通过了龚怡宏的面试,跟着龚怡宏做了几个月的多媒体研究。2003 年朱胜火博士毕业时,选择并不多,当时美国经济萧条,国内的 AI 也还没发展起来,所以他先去了亚马逊机器学习团队做推荐算法研发。那时候的亚马逊还是一个只有几十人的创业小团队。但接触一年多业务后,朱胜火觉得还是需要更深入的研究,于是决定再回到 NEC。
没多久,余凯、王进军、林元庆等人也相继到来。这当中,朱胜火的「鼓动」起到了重要作用。2005 年 8 月中旬,朱胜火前往巴西萨尔瓦多,参加信息检索领域的顶级会议 ACM SIGIR。就在这个会议上,朱胜火第一次见到余凯。那时的余凯二十九岁,刚从慕尼黑大学博士毕业一年。余凯是江西南昌人,在南京大学完成本硕学位,接着赴德读博,毕业后在德国西门子中央研究院工作。朱胜火这次来参会,除了做学术交流,还打算捞些人才进 NEC。他先前读过余凯的工作,印象很深刻,正好这次碰上,就上前与余凯攀谈。聊到投机之处,朱胜火问余凯:「有没有兴趣去美国?」余凯正有换工作的打算,加上跟朱胜火十分谈得来,就回应很有意愿。朱胜火待人热情,余凯亦很健谈,两人在巴西很快熟络起来。中间朱胜火遭遇了一次抢劫,与人周旋搏斗受了点伤,余凯敬佩地夸他真是有勇气,他则笑着摆手说,「哪里哪里,那人抢我的时候,我只是不停地跟他说随便拿,可是人家听不懂。」余凯就觉得「这哥们儿憨憨的,很好玩」。不过那段时间,余凯也在考虑回国发展,还拿了微软亚洲研究院(MSRA)的 offer。MSRA 那时由沈向洋领导,是国际上名气最大的 AI 研究院。而当时的 NEC 美国研究院也很强,有过许多祖师爷级别的大牛坐镇,如 SVM(支持向量机)的发明人 Vladimir Vapnik、深度学习先驱 Yann LeCun 等,对人才也很有吸引力。当时,如果在谷歌搜索「NEC Labs American」,谷歌会「夹带私货」地弹出一则谷歌招聘广告。余凯几经犹豫,最后在身边朋友的建议下,决定不妨先去硅谷转一圈。2006 年走进 NEC 的余凯已经笃定,自己最终是要回国的。没有人料到,这个念想在六年后会直接推动整个中国 AI 的产业变革。如同朱胜火在学术会议上「鼓动」余凯,后来的许多人如王进军、林元庆等,也是在会议上经引荐、介绍而来到 NEC。那几年会议规模小,同一个圈子的人都能在会上碰到面、打上招呼。王进军比余凯晚一个月到 NEC。2004 年纽约 ACM Multimedia 会议上,王进军的博士导师徐常胜把他引荐给了好友龚怡宏。当时王进军在南洋理工大学读博士一年级,已经发表了多媒体检索方向的顶会论文,给龚怡宏留下了印象。两年后,龚怡宏找到当时在新加坡工作的徐常胜(现中科院自动化所研究员),问有没有不错的学生能推荐到 NEC。听到王进军的名字,他马上就回想起来,「王进军我记得,让他来很好」。之后王进军就与龚怡宏隔着大洋在电话上聊了一个多小时,通过了面试。
接触过徐伟的人,都会强调他的聪明至极。他对问题的直觉很敏锐,还讲究效率到了极致。一个例子是,实验室在三楼的卫生间比较小,每天中午一起出去吃饭前,徐伟为了避免几分钟的等待,一定会先去二楼的卫生间。大家发现了都很惊奇,在这种小事上,徐伟也要奉行他效率优化的原则。同时,徐伟又十分低调,深藏许多功与名。比如在 Netflix 曾举办的百万美元推荐算法赛中,有个名叫「xyz」的团队长时间霸榜第一,却从未透露身份,在当时引起了讨论。这个神秘团队其实就是徐伟本人。后来,无论是在百度还是地平线,徐伟也都保持着对 AI 最纯粹的热情。在余凯、徐伟等人的努力下,NEC 在稀疏编码方面的研究做到了顶尖,2009 年的 Pascal VOC 冠军就是证明。也正是在这次冠军之后,他们这群人的方向开始有了第一次分岔。硅谷的投资人们找上了门,鼓动 NEC 这帮人做产业化。龚怡宏很心动,他一直都很看重研究的落地,早有创业的想法。再加上金融危机来势凶猛,公司受到波及,外面传闻不断,大家普遍骚动不安。那段时间,即使是在学术界名望很高的黄煦涛,也忧于筹不到足够经费来培养博士,只能无奈催促学生们尽量早点毕业。深思熟虑后,龚怡宏私下问了一圈大家的意见,正好王进军也有意创业。两人就很快在加州成立了一家公司,叫 AkiiRA Media Systems,做下一代视频搜索引擎。不过,时运不济,他们的这次产业化尝试并不算成功,市场环境未见好转,不到一年两人就离开了。之后龚怡宏便回了国,在 NEC 中国研究院任首席科学家,2012 年到西安交通大学任教。王进军先是去了美国 Epson 研究院,2013 年也回国加入了西交大。
02
余凯创造黄金时代
在龚怡宏走后,NEC 找到在团队里颇有号召力的余凯,问他如果找个人来当实验室的头儿,谁比较合适?余凯脱口而出「徐伟」。他当时也很焦灼,觉得公司不一定能撑得下去,就去外面找工作,拿了雅虎的offer。公司又去问徐伟的意见,徐伟则未经犹豫地答「余凯」。可见两人对彼此有足够的信任,也都想在离开前为团队选一个好的带头人。余凯领导力强,经常在家里组织聚会,大家甚至怀疑每周末全硅谷的华人科学家都聚在了他家。大家对带团队没太大兴趣,更愿意埋头做研究,杂事有人愿意去做就最好了。后来余凯对此「无奈」笑道,「这帮家伙鬼精鬼精的。」不过,徐伟先余凯一步离开去了 Facebook。他离职前,余凯把大家聚到一起拍了一段视频,视频里大家做着滑稽的表演,说着告别的话。他们彼此感情很好,中午一起开车出去吃饭,买单后还会拿剩下的零钱去买个彩票,幻想中了大奖下周就不用来上班了。周末约出去玩,他们聊天话题从一开始的天南海北到后来的家庭和育儿,对彼此了解很深。所以分别时刻,不无感伤。回过头看,2009 年这一波人才出走,更多是因为外部经济因素,而不是 AI 迎来了风口。但在深度学习爆发之前,留守在这幢小楼里的这群人,依然造就了 NEC 最后的辉煌,也为 2012 年之后在中国工业界掀起 AI 热潮做好了「无意」的准备。其中,余凯就是那个带领 NEC 走出「寒冬」的转折点。2009 年的年末,余凯还是决定留下来,他觉得自己有责任把 NEC 的力量重新凝聚起来。他设下两个目标,「向业界证明我们能够吸引最顶级的人才,做出世界上最优秀的成果」。接管实验室第一天,余凯就提出,大家以后在办公室不要再讲中文了,要更开放地广招人才。这一发话,大家就都从善如流。实验室这些年招的大都是华人,总部还为此抱怨多样性不够,要求他们招人要多元化。但没办法,那些白人、印度人往往都过不了面试。NEC 的面试也向来严格,实验室人少,宁缺毋滥。这次余凯亲自面试,招进来两个大神。一位是黄畅,清华本硕博毕业。他本科时就对图像识别很有热情,但直到博士毕业时,他还没想清楚图像识别如何在工业界大规模应用,就先去了南加州大学做博士后。直到 10 年,黄畅重燃对工业界的兴趣,经朋友引荐找到了余凯。在余凯眼里,黄畅「也跟徐伟一样,是个天才」,在人脸识别领域的研究是世界一流。另一位是印度人 Manmohan Chandraker,包揽多个最佳论文奖,余凯评价他是「3D 视觉做得最好的一个」。后来他接了林元庆的班,如今也还在 NEC 领导计算机视觉部门。余凯作为大家长,为实验室创造了很好的研究条件。他揽下大部分杂活,经常出差、跑项目,把实验室与总部的关系维系得相当好,经费很充裕。余凯还与学界和业界建立了广泛合作,对外交流很活跃,比如与吴恩达等学界研究者合作论文,受邀去斯坦福大学授课。余凯与吴恩达的相识,是在 2009 年 6 月的加拿大蒙特利尔。为了复兴神经网络研究,余凯与后来的深度学习三巨头 Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio,在国际机器学习大会 ICML 上组织了一场深度学习研讨会,并邀请了时任斯坦福大学教授的吴恩达做报告。那一次,余凯就记住了吴恩达这个与他同龄、说话温文尔雅的高个子,之后两人保持着很好的交情。有趣的是,同样在 2009 年,冬天,余凯从温哥华前往惠斯勒 NIPS 分会场,与几位研究者拼了一辆越野车上山。当时驾车的人是另一位中国深度学习引领者邓力。彼时邓力正在微软用神经网络发起语音识别革命,余凯则还不知道,不久后他也将在中国掀起一场深度学习产业变革的风暴。风暴前夕,便是硅谷NEC Lab最后的黄金时代。2010 年,余凯与黄煦涛再次合作,把林元庆、朱胜火、杨铭、吕凤军等人,UIUC 的实习生曹亮亮、周曦,以及罗格斯大学的教授张潼集中到一起,拿下了首届 ImageNet 挑战赛冠军。后来余凯自评,他进入工业界之后的第一件漂亮事儿,就是打赢了这场比赛,「可以说,在 2012 年 AlexNet 之前,我们用非监督的卷积深度学习算法做图像识别,是被广泛证明的最好算法。」实验室声誉高涨,大家此前的悲观情绪一扫而空,NEC 也继续吸引着优秀青年进来实习。2011 年,余凯收到一封来自伯克利 Trevor Darrell 教授的邮件,说他有个特别聪明的学生想做深度学习,但伯克利没有项目可做,想推荐到 NEC 实习。这个学生就是贾扬清。余凯觉得贾扬清资质很高,就立即找了黄畅一起来指导他。贾扬清正是从这里开始接触的深度学习,那段时间他所显示出的强大数学功底和工程代码能力,让所有人都毫不怀疑,这个年轻人不久就将在深度学习领域拿出惊人的东西来。
果然,几年后,贾扬清做出了影响全世界的深度学习框架 Caffe。之后他在谷歌和 Facebook 还参与了 Tensorflow、PyTorch 等框架的开发,影响深远。2019 年加入阿里巴巴后,贾扬清领导大数据 AI 业务,做到了行业领先。四年过去,他选择从阿里「毕业」,又回到了他最擅长的 AI 架构方向创业。
03
林元庆紧追深度学习浪潮
相比当了时代「炮灰」的龚怡宏,余凯的出走更为幸运。2012 年,他在最好的时机回国,为百度带去了 NEC 的人才。离开之前,余凯强烈推荐了林元庆做实验室主任。林元庆有很强的闭环感,做事从一而终,余凯非常欣赏他这一点。
林元庆在任期间,继续吸引了一些人才进 NEC 。当中就有两位中科大校友王孝宇和杨天宝,另外还有 CMU 毕业的周峰。这一时期的知名实习生有杨天宝指导的谢赛宁(现纽约大学助理教授),后来他与何恺明提出了著名的 ResNeXt。当余凯一行人在百度轰轰烈烈搞深度学习时 ,身在硅谷的林元庆也带队迅速投入到深度学习。林元庆主攻机器学习,因此反应最快,开始利用深度学习做大规模细粒度图像识别和自动驾驶的 3D 视觉感知。他们在全世界最早用深度学习做物体检测,并凭借其中的技术获得了 2013 年 ImageNet 比赛的亚军,团队成员包括林元庆、王孝宇、朱胜火、杨铭、杨天宝以及密苏里大学的韩旭等人。在他们使用的框架中,深度学习在只是作为一个特征提取工具,名次虽居第二,但技术原创性非常强。当时,伯克利团队与他们差不多是同期用深度学习做检测,所以赛后林元庆和王孝宇就被邀请去伯克利报告他们的新发现,听众反应都很热烈。王孝宇说,也正是因为他们看重技术创新、追求完美,所以 13 年之后,比赛变得越来越工程化,他们就没再参加。13 年这次比赛排在 NEC 后面一位的,是 Yann LeCun 的团队。那时双方交流也很多,LeCun 曾在 NEC 留下的代码遗产还得到了后辈的传承,有次王孝宇参加一个人脸分析比赛,就使用了徐伟当年所写的代码,而徐伟那套代码最初是出自 LeCun 之手。这一时期,在林元庆的带领下,NEC 团队在计算机视觉三大顶会上发表的论文有了数倍提升,还揽下了 2014 年 CVPR 最佳论文奖。同时,一个明显的转变是,大家对研发成果商业化的渴望越来越强烈。但他们也很苦闷,在 AI 迎来产业化热潮的大环境下,在 NEC 做技术落地的空间不是那么大。NEC 一直以来的技术贵族做派,让它以前走在了技术最前沿,但现在,「阳春白雪」只能带来与市场的脱节。所以,2015 年前后,在中国 AI 崛起之际,NEC 人员的大批离开、回国成了必然。
04
那些从 UIUC 来的人
龚怡宏、余凯、林元庆,这三位带头人将硅谷NEC Lab建设成了最强的人工智能实验室之一。这里因此逐渐成了华人尤其是青年学生实习必去的一个地方。那时,美国各个名校都有博士来 NEC 实习,比如前面提到的贾扬清、谢赛宁等,不过这当中为 NEC 输送了最多青年人才的,还是 UIUC 的黄煦涛。2006 年,龚怡宏去黄煦涛组里访问,双方建立了稳定的合作。NEC 为黄煦涛提供研究经费,后者则每年派出组里 1 到 2 名优秀学生去实习。高校研究资金有限,学生在学校大多「过得苦哈哈」,而 NEC 的待遇和环境特别好,所以他们很愿意来。每年暑假,他们到 NEC 开展研究,到了 9、10 月份开始撰写论文,11 月向 CVPR 会议投稿,第二年中了稿到 3、4 月份去参加会议,就是这样一个流程。UIUC 的计算机学科非常强,是美国唯一能与「四大」并列的高校。作为计算机视觉泰斗黄煦涛的弟子,他的学生也都是天之骄子。宁华中、杨建朝、周曦、曹亮亮等人,都先后到 NEC 实习过,而且还都是中国科技大学校友。宁华中是中科大 96 级少年班毕业,硕士继续在中科大师从谭铁牛院士。他去 NEC 实习次数最多,连续去了三年。大家因此开玩笑说,宁华中这是卖给 NEC 了。杨建朝形容,那时候宁华中去实习,相当于组里跟 NEC 的一个结合部。
另外还有曹亮亮,中科大 9806 班毕业,硕士去了香港中文大学汤晓鸥的多媒体实验室,2010 年来 NEC 实习。许多人的印象是,他不光聪明,还是「这批人里面的大帅哥」。
NEC 的正式员工中还有一些是黄煦涛学生的学生,比如杨铭。大家会开玩笑说,与他同期从 UIUC 来实习的学生虽然年龄比他小,但按辈分讲,杨铭得喊他们一声「师叔」。2012 年入职 NEC 的王孝宇也是类似,他的导师韩旭是黄煦涛的学生。入职前两年,王孝宇去 NEC 实习过两次,在杨铭的指导下做大规模图像搜索研究。他跟杨建朝是中科大的同班同学,之后到密苏里大学读博,是韩旭门下第一个博士。王孝宇入学三个月,就与韩旭、颜水成合作发了一篇一作 ICCV(Oral)论文,这成了他进 NEC 实习的一块敲门砖。
这些实习生阵列豪华,后来余凯回忆起来如数家珍,语气十分自豪,「我们在这些 shining stars 成长的早期一定程度上引导过他们的成长。」那时,硅谷NEC Lab的华人群星灿烂,研究氛围又十分自由。杨建朝如今在硅谷仍很怀念,「它就是一个 Research Lab,是个很灵活、很自由的团队,大家不是特别看重产品的产出。」这群人从 0 到 1 的追求,也是王孝宇最初去实习时就深刻感受到的。他刚到 NEC 时很懵,因为要做一个之前没做过、NEC 也没人做过的新方向,大规模图像搜索。他发现,每个人都会去发现和解决新问题,而非哪个技术火就去制造那个方向的论文。王孝宇很擅长短时间内把事情做到极致,所以很快出了成果。在 NEC 接受过训练的青年才俊,后来都在 AI 产业界成就了一番事业,成为各领域的知名人物。宁华中 2008 年从 UIUC 毕业后,先在微软待了一年,然后跳到了龚怡宏当时的创业公司,不到一年就离开了。之后他一直留在湾区,先后在谷歌和 Facebook 工作。19 年,他加入师兄韩旭的公司文远知行,现在担任感知团队的执行总监。杨建朝是 2011 年毕业,在 Adobe 和 Snap 研究院分别待了几年,最后去了字节,担任硅谷 AI Lab 的负责人。周曦最终选择了创业。2011 年中国科学院重庆研究院筹建之时,他受院长袁家虎三顾茅庐赴美邀请,决定回国做贡献、为国内吸引人才。四年后,他又将人脸识别技术进一步落地,创立了云从科技。曹亮亮在学界和业界辗转多次,创办过一家公司,最后回到了 NEC 所在的城市,在苹果公司担任主任科学家。