如何正确看待LeCun工作调整?听听FAIR研究员们现身说法

文章正文
发布时间:2018-01-28 16:40

如何正确看待LeCun工作调整?听听FAIR研究员们现身说法

2018-01-28 12:27来源:量子位Facebook/技术

原标题:如何正确看待LeCun工作调整?听听FAIR研究员们现身说法

李根 发自 凹非寺

量子位 报道 | 公众号 QbitAI

LeCun离任的余波还未消停。

1月24日(大前天),深度学习三巨头之一的Yann LeCun卸任Facebook AI Research(FAIR)实验室负责人,并主动挖来了法国老乡、前IBM集团CTO Jérôme Pesenti接任,后者不仅成为FAIR实际负责人,而且还会担任Facebook内部应用机器学习团队AML。Jérôme Pesenti任职AI副总裁,向Facebook CTO Mike Schroepfer汇报。

Yann LeCun则不再参与FAIR日常管理,只会做方向性指导,他的新title是:Facebook首席AI科学家

不过一石激起千层浪,LeCun离任FAIR的消息随之被各种解读。有说FAIR面临动荡,也有人说这只是LeCun离职的前兆(还指出了某家中国AI公司)。

但核心热议的话题只有一个:Facebook内部,工程产品和学术研究之间是否有矛盾?LeCun离任是否与这种矛盾有关?

知乎热门提问称:LeCun 为什么要卸任 FAIR(Facebook AI 实验室)负责人,工程和研究的矛盾可调和吗?

持不同观点方都有细致回答,而且算得上知情人士:不仅有FAIR研究员田渊栋和吴育昕,还有一位匿名但自称“常去Facebook蹭饭的圈内人士”,以及NYU博士生。

量子位原装搬运(已获授权)如下,小标题为后添加:

田渊栋:FAIR依然没有产品压力

FAIR研究员田渊栋

FAIR现在一切风平浪静,大家该干啥干啥,没见到和之前有什么区别,还是做long-term的工作,还是偏重科研,还是没有产品压力。我都不知道这些传言是怎么来的。

FAIR基本上是自底向上的管理模式,给一个环境让研究者们去探索,只要有进展,老板们不会干涉。现在大家知道围棋是好方向了,但退回2015年做围棋,碰到个有点控制欲的老板还不把你一脚踹到爪哇国去,但是FAIR不会,大家以“与别人不同”为荣,并且愿意沿着自己看准的方向坚持下去。当时我做围棋大家会质疑,但我可以继续做。做原创研究要”于无声处听惊雷“,要是都听着上头的,上头指哪下头打哪,就没有原创性了,很多时候大佬说的都是错的。

之前Yann的reports太多,他不想管也很正常。国外管人很难的,手下人都是大爷,要好好伺候着,有啥不顺心的要负责解决,出活碰到障碍要提供便利,没思路了要经常一起讨论,要拉合作,作统筹,而且还到处是坑,说错话做错事责任全在管理者头上。

研究其实分两种,一种灌水式研究,以文章中稿为目的;另一种是解决式研究,以解决问题为目的。FAIR从成立之初就是做后一种研究,文章不看多而看精,看效果和质量,不仅看文章,还看开源代码,看影响力。FastText,FAISS,Convolutional Machine Translation,MaskRCNN,还有最近的detectron,包括我这边的ELF,都是被广泛关注并且可以在各种场景下用上的。在过去的四年里,FAIR给公司带来了不可估量的价值,让大家觉得FB也是一个技术上很厉害的公司,牛人会纠结是去Google Brain,DeepMind还是来我们这里,这还不够么?

站在解决式研究的角度上看,它和产品没有什么不可调和的矛盾,最大的区别是检验标准。产品组标准相对客观简单,可能就几个数字,多少人在用,时长是不是涨了,等等;研究这边就多元化了,新方法,新方向,新思路,就算一时的”大逆不道“都可能是好的。所以一个研究团队要有好的头儿带,要有好的鉴赏力,知道什么是好的研究,什么是一般的研究,什么是在浪费时间,什么需要给空间让大家探索,并且可以把这个标准坚持下去。这个很重要,别看人家到处做讲座好像没干啥,大佬就是起这个作用的。

另一个是长期和短期的区别。太过注重短期效益,逼得紧,每周都要有进展,那就只能在原方法上修修补补(我以前在Google的组就是这样);给一个宽容的环境,鼓励大家坚持长期的方向,就会有创新出来。如 @吴育昕 所说,对长期的项目现在投入是越来越大了。注意宽容并不意味着我们很闲,事实上像我基本上是7天13-14小时工作制,算法到系统到理论分析都搞,搭建系统的速度,产品组同事们看了commit的频率都无法插手。宽容只是容许失败,容许尝试很多不一样的方向,只要你努力了,就算失败也不会让人难堪,反而可以堂堂正正说试过了,换一个方向再试一次。

所以,你们觉得这样的组会被干掉么?

另外附带说一句,一直以来FAIR宣传自己是研究组,宣传各种文章各种研究成果,可能有点用力过猛,导致大家对它有误解,以为它只做研究,和产品关系不大。其实FAIR虽然没有产品压力,但和以前MSR有点不一样的地方是它一直在deliver,一直有各种东西放进产品里面去,我上面列举的那些好项目,难道都是看着当摆设的?现在因为AI平台兼容性强很多,技术转化相对方便,要送训练好的模型去服务产品,真的不是什么难事情。以前听说MSR要花上一年时间才能转化研究成果,现在FAIR这里搞个新闻,明天一封email就来了要谈内部合作。我来FAIR的第一个小项目就是完全出于个人兴趣和我的bootcamp mentor做了个内部产品,不仅发布了还被VP点名了。不过我为啥要宣传这事呢?还是讨论高大上的游戏和强化学习比较吸睛啊。

可能大家只有“科研”,“工程”这几个概念,所以不知不觉把事情往非黑即白的方向上去想了,其实世界都是灰的。

Facebook园区 吴育昕:LeCun离任影响?FAIR基本没感觉

写新闻的人真辛苦,观众猜什么的都有。然而FAIR里大家对这件事基本没什么感觉。

产品压力?不存在的。

长期回报养不起?FAIR现在对long-term project的投入比之前大多了。

没有他领导的 FAIR 会怎样?暂时看不到任何可以预见的变化。

LeCun 为什么要卸任 FAIR负责人?我不知道但我猜是他太忙了不能安安静静做research……

LeCun要去头条?喵喵喵?!

匿名:FB有意协调FAIR和AML

题主是问“Yann LeCun 为什么要卸任FAIR负责人”,以及“工程和研究的矛盾可调和吗”。高分回答都是”Yann离职对FAIR没影响啊,你看完全没影响我啊“,本人觉得题主本意不是询问在FAIR的各位工作还顺利吗,而是关注Yann本人和两个部门的关系。

本人尝试从第三方角度来回答下。

正如题主提出了两个问题,这次其实是两个事件:

Yann卸任FAIR负责人,成为更加超然的首席AI科学家。

新任VP Jerome Pesenti不仅接管FAIR,同时是负责产品的AML团队。

本人是赞同高分答主的如下两个观点:

Yann离职对FAIR暂时影响不大。本人理由是:毕竟Yann有一段时间没有直接汇报对象,基本没有过于参与直接运营的管理。

Yann还是有想法做有影响力的研究。本人理由是:他最有影响力的工作是80年代末的LeNet。几年前他还在吐槽深度学习这些年就是LeNet上修修补补。但这几年随着大量的应用出现,深度学习已经脱离了对LeNet的加深加宽,新的研究方向例如GAN,例如RL持续火热。猜他也是感觉到了内心澎湃吧。

但这个并不能回答为什么需要一个人接管两个团队,和Yann为什么不是那个人。

首先,将两个团队更紧联系在一起很符合常情。机器学习那么火热,懂的人奇缺,把两个部门的人拉近到一起更有有效利用资源。

首先你负责赚钱,我专心科研这种天真的想法可能只有FAIR的人才有,从AML眼里你们凭什么想干嘛干嘛而我们累死累活跟产品打交道。从老大眼里你们围棋项目上头条了吗,你们玩游戏项目能带来利润吗,做这些有的没的太浪费人才了。

这里的一个常见反驳借口是你看DeepMind专心科研,Google Research帮助产品。但跟DeepMind比,FAIR不管是研究的重量级,还是宣传的攻势上,跟DeepMind还不是一个档次。另外,大家可看见DeepMind在Google总部42楼里面整整半层楼的工程师在将技术产品话,而且新闻稿里也一再强调创造了利润。虽然Google陈诺DeepMind了天价经费,但人家也懂得世界没有无缘无故的爱,所以要提前铺好前路。

在Yann在的日子,FAIR的各位也许无忧无虑,但Yann不再管事,换成一个更有产品背景的老大,日子还会是那么想怎么脑洞大开就能开吗?离大家最近的例子是MSRA,paper无数光环无数,但后来老大一换,大家纷纷有了产品压力,优秀的人基本都走得不剩了。

针对第二个问题,为什么Yann不愿意做这个老大。

看看Yann的背景,不能否认他是一个优秀的程序员和管理者。他毕业后首先去了AT&T Bell Lab,然后长期在NEC。期间他做了很优秀的产品,例如手写支票的识别(这个被大量应用),和图片压缩算法DjVu(可惜公司没有远见大力推广这个技术)。他当年的手下很多现在都成为了大佬,而且对他的管理能力是有高度评价。更不用提他一直力推的Torch,是深度学习最老也是最有影响力的平台之一。

但这次从一个实权位置(director)换成了一个看上去能高的职位(Chief Scientist,级别应该类似VP)但更虚的位置,从职场角度来说是明升实降。所谓的“他汇报对象太多,不想管”,在我看来是有点是一种无奈的放弃

让我们回到Yann刚刚加入Facebook的时候,上上下下都欢心鼓舞。各个团队都欢迎Yann来指导工作。据本人在产品组的同学透露:实际上是,Yann在Menlo Park总部看了一圈后默默的回纽约去经营FAIR去了,虽然理由是“想做研究,而且还在学校兼职,在纽约方便”,但背后的话可能是,”你们太弱了,什么还在单机跑决策树模型,大清早已经完了“

随后AML成立(具体本人也不记得什么时候了),接过了产品这个重担。据本人旁听到的消息是,很久一段时间所有图片都是在一台机器上用Caffe抽特征。跟世界先进生产力那么遥远,肯干的而且是在本地的AML自然很快就打开了局面。

过了一两年,等Yann发现各个团队的技术跟上来了,可以应用下先进的技术的时候,AML已经控制了Facebook机器学习的基础架构了。他们用的是Caffe2而不是PyTorch。可能老大有点暗示,你们也要看看产品啊,但再进入就得和AML谈合作了。

事实上合作不容易。据本人另一个小道消息,Yann对AML的合作不怎么满意,原话是”They are difficult to work with and earn trust”。但从AML角度来说,干脏活累活的时候你不来,刚走上正轨就要插上一脚,那自然不可能那么简单。本人怀疑,Yann估计因此有点气不顺,所以在Facebook四处跟人撕。想想如果每天工作满满,还有力气去撕吗?

但老大肯定想把两股绳子扭到一起。但AML不见得想让Yann做老大,Yann也不见得喜欢跟AML在一起。所以折中一下是找一个既有机器学习背景的,又有产品经验的人来做老大。

本人觉得对Facebook和Yann都是好事情。Facebook能更加集中的使用人才资源,避免重复造轮子(想想Caffe2和PyTorch)。Yann可以抽取身来专注研究。但这个最大的影响可能FAIR的各位,从此可能有了产品压力,做天马行空的研究可能不那么容易。但未尝不是一件好事,最好的研究从来都是来源于实际,也会应用于实际。

利益先关:算是“圈内人士”,常去Facebook蹭饭。本人是想公证的说几句,但怕得罪大V用户,以后蹭饭就没了,可耻的匿了。

NYU博士生张翔:LeCun自曝不喜管人

去年5月份实验室开会,有人问他,你最不喜欢的事情是什么,他脱口而出,“管人”(“managing”)。

作者系网易新闻·网易号“各有态度”签约作者

返回搜狐,查看更多

责任编辑:

声明:本文由入驻搜狐号的作者撰写,除搜狐官方账号外,观点仅代表作者本人,不代表搜狐立场。

阅读 ()

文章评论
—— 标签 ——
首页
评论
分享
Top