深度学习模型的技术路线是一件极其重要的事。
它可能关平着成百上千亿美元的利益,以及,後续资源的投入。
所以,俞兴才对亲自尝试的软体对话情况念念不忘,也在由吴恩达多次解释和OPENAI
的印证之後重新审视了这个情况。
自注意力机制本就是由谷歌的团队提出,初衷也是为了机器翻译的领域,有着很明显的商业落地场景,而如吴恩达承认,他们在对相关机制进行研究的时候也会考虑後续的商业化方向。
机器翻译,搜索应用,乃至於GG内容的匹配和内容合规的审核,这些都是基於如今业界的情况所能看到的商业场景。
即便俞兴从来没对DLF的商业化提出过要求,吴恩达等人仍然在沿着更能维持DLF生命的方向前进,考虑到陆奇的履历,他在加入到DLF後应该在这一点上是一拍即合的。
俞兴出於良性竞争的考虑,愿意在碳矽系之外还有DLF这样的运作,但这种框架的竞争应该仍然只是自己的思考,而不应该是放在DLF身上的初衷。
对於DLF来说————
「喂,大老板,嘀咕什麽呢?嘀咕两三天了啊。」刘琬英回家之後瞧见沙发上发呆的俞兴,终於忍不住帮他回神。
「小英,你说通用人工智慧什麽时候能够真正的到来呢?」俞兴悠悠的说道,「我们能看到吗?」
他大致想明百了,通用人工智慧AGi才应该是DLF需要追求的组织目标,看了这种目标才能反过来推动吴恩达等人考虑更适配这种目标的技术研发。
TD—1刷新了11项自然语言处理任务,这当然很好,但采用解码器的技术路线方案可能在这种理解任务上有所落後,却不代表它在追求AGI的路线上是劣势。
只是,这个目标到底能不能达成————
「肯定能,以前的人类还没技术去太空呢,但我们到底能不能看到,那我就不知道了。」刘琬英笑道,「现在不就是你们那个TD—1刷屏,好像明年就能看到智慧机器人进入家庭了。」
俞兴摇摇头:「媒体肯定怎麽有流量就怎麽写。」
刘琬英见他没有往下说,提了个事:「小颖等会过来,她听说你要去美国的事了,大为震惊,你这条毒蛇出洞看来是把人吓一跳。」
俞兴的工作安排主要是放在碳矽集团这边,也没对外透露消息,碳矽数据那边是今天才接到通知,这趟美国之行大概率还会和脸书的扎克伯格见面,免不了还得商讨Mus的竞争与合作。
只是,吕海颖在得知师兄是因为要为DLF挖人才动身,既为这件事震惊,又立即意识到碳矽数据对於深度学习领域的重视很可能还是落後的。
她选择私底下来探听口风,沟通交流。
俞兴「嗯」了一声,又神游一会後才说道:「既然不知道AGI什麽时候能到,分出来竞争还是很有意义的,碳矽数据有自己的基本盘。」
良性竞争的设置到了这会出现新的意义,回头再看,TD—1在具体业务上的作用恰恰挺适合碳矽数据,而编码器方案相较於解码器方案的优势即便随着技术发展,也很可能不会到弃之如敝履的地步。
俞兴从逻辑上看待这件事,那放在碳矽数据上的技术推进就可以直接拿TD—1的思路来多试试了。
他仍然没法否定TD—1,这可以由碳矽数据继续研究推进,而DLF如能基於追求AGI的目标去推进解码器技术的进步,那便是良好的对照。
不过,具体落实到人身上,还得小心处理,如吴恩达、陈天奇、林元庆等人都有他们自己对深度学习的见解和判断,TD—1如今的表现又必然振奋人心。
临近晚饭时间,吕海颖带着女儿锺爱如期而至,刚过来也没立即提深度学习的事,只是和刘琬英闲聊。
俞兴则是饶有兴趣的逗了一会锺爱,感慨孩子长得快。
吕海颖等到饭菜上桌才谈到深度学习的动静,认真请教道:「师兄,你觉得深度学习真的会在近期成为推动公司发展的力量吗?」
「近期是多近,一年两年?那估计不行。」俞兴斟酌道,「三年五年,那可能就是一件各大公司都必须放在战略层面的事了。」
吕海颖心里一沉:「三年五年————这就是近期了啊。」
对於一家大公司来说,三年五年的时间不算长,但放在特殊节点确实就可能改变一切,比如,从PC网际网路到移动网际网路。
「不用怕,碳矽数据手里有着优势,产品上有那麽多用户,你们还是要服务好用户,在这种基础上再重视深度学习。」俞兴现在更加平静,「DLF可以更纯粹,但纯粹未必就能做好,我们在这方面已经沟通过了啊。」
吕海颖放下筷子,苦笑一声:「沟通是沟通过,但师兄你忽然要飞去美国挖人,这————这有点吓人了,DFL手里到底有什麽突破?我们都有点怀疑它明年就推出什麽颠覆产品把我们给革了。」
俞兴摇头:「不可能的,那也不符合客观规律,我也是静极思动,我和京城也打过招呼了,到了那边不会乱跑乱动,安全还是有一定保障的。」
「师兄,DLF的TD系列有没有希望成为下一个超级APP?」吕海颖抿了抿嘴,还是想听到更进一步的判断。
俞兴沉吟再三後摇头道:「说不准,这一百米可能只跑了10米,但是,关於这个事,年度报告里也说了,自注意力机制是一个有望突破的方向,TD—1再次证明这个判断,有这样的判断就能拿到很多资源和支持,後续发展必然更快。」
「我希望你们能真正的重视,但也是从碳矽数据的考量来看待这个事,另外,TD—1的编码器方案对搜索、GG、审核、翻译等业务都是有帮助的,这是能很快见效的。」
吕海颖边吃边思考,过了一会还是说道:「师兄,你的重视让我有点担忧了。」
「不要管我,我认为必须要做的,那我会做的。」俞兴说道,「你们就是要从碳矽数据出发,打好国内和国外的竞争,也同步重视深度学习的发展。」
吕海颖拿到了师兄的态度,但这顿饭仍然吃的心里沉甸甸。
碳矽数据管理层一直以来的自由度都很高,虽然有时候也会抱怨师兄重心放在新能源汽车上面,但不少时间瞧着公司发展到现在的局面也觉很有成就感。
可是,这一次师兄一反常态的为了深度学习动身出国,那种战略层面的压力立即就压了过来。
本以为对深度学习足够重视,但现在看来还是不够。
吕海颖晚上回到家,第一时间便被锺志凌追问情况。
「兴哥怎麽说?DLF还捏着突破吗?」锺志凌同样震惊干师兄的动向,但今晚有会要开,没法抽身,只能回来等消息。
「DLF应该是没有,它就是已经把最新的研究都公布出来了,那个技术路线也很有助於我们现在的业务,这一点是可以确定的。」吕海颖迟疑道,「就是师兄的态度————」
她想了又想,有点无奈的说道:「我觉得师兄其实也不是特别确定深度学习这一块的未来,但对他来说,DLF和碳矽数据都有份,哪边做出来就都是可以接受的。」
锺志凌想说话却没说出来,无声的摊了摊手。
半晌之後,他有点不甘和委屈:「我们才是正统啊,是从金陵就一直跟着兴哥的啊。」
「私谊是私谊,难道你锺志凌得到的不够多?难道师兄亏待你了?」吕海颖呛了一句,「事是这个事,我回来的路上也想了想,就我个人而言,其实是有点担心碳矽数据在战略层面行差踏错,我们又是第二时间才知道师兄的动向。」
她喝了口水,继续说道:「碳矽数据过去是在师兄规划的战略层面里发展,这次忽然冒出来的深度学习占据了我们的视野,是超出原先战略规划的东西,所以————是有点慌的。」
吕海颖承认了情绪波动的原因,但又说道:「不过,师兄其实一直都是把话说明白的,过山峰的年度报告提到深度学习,我们也早知道DLF,他又一直在抖音谈这个事,他没有藏私,也不是偏爱,就是正常推进罢了。」
锺志凌摸了摸下巴上的胡渣,琢磨了一会,突然冒出来一句:「我不,碳矽数据就应该得到兴哥的偏爱。」
吕海颖看着瞬间孩子气的丈夫:「DLF可以独立的发展,但我们更有钱。」锺志凌展现了志气,「我们也更有资源,如果深度学习真的有路可走,那我们也能走出来。」
吕海颖低头思考几秒,然後抬头说道:「挺好的,这大概就是师兄想看到的。」
锺志凌「嗯」了一声,心里盘算内部资源的更好分配方案。
DLF的模型开源以吴恩达的判断来看,最少也需要一个月左右复现,从零开始更是要半年往上,但是,仅仅两周时间,来自谷歌的团队就宣布复现了TD—1在11项NLP任务上的成绩。
甚至,谷歌还进一步刷新了这个成绩。
「我们很高兴看到DLF在Transformer方案上的开拓发展,事实证明,无论是DLF还是我们,都还没有摸到这套架构的上限。」
「基於Transformer的深度学习模型有望成为新一代通用模型的基座。」
谷歌显然在类似研发上早就存在进度,所以如此快捷的复现并进一步推高了TD—1的成绩。
这种间隔两周的成果证实了DLF在深度学习领域的成果,再一次激起了全球深度学习领域的热情。
只是,相较於学界的躁动,媒体这次就冷静很多,仍然报导了DLF被证明的事情,但没有大肆渲染人工智慧的突破,其中一个原因也是俞兴在抖音上更新了批评这类风向的视
频。
国内大厂在DLF开源的时候就已经开过一次会,这次见到谷歌复现又开了会。
百度的高级副总裁向海龙,在会议上提到聊到这个事,颇有些得意的说道:「DLF开源开的好啊,谷歌能复现就证明它没做什麽手脚,俞总这次是有点傻了,我们可以直接踩在他们肩膀上推研究。」
现任百度研究院院长王海峰听到这种话,神色复杂的说了句:「DLF肯定不会造假的。」
向海龙注意到王院长的不自在,也不觉有什麽不合时宜,直接说道:「那也不能凭他一张嘴就行,反正,DLF从我们这挖了那麽多人,我们踩着他们肩膀也是应该的!」
王海峰保持沉默了。
「DLF是自愿开源,我们当初也没有卡人。」李艳红有点担心王院长走前任院长们的老路,找补了句,又问道,「王院长,你们也全面研究了TD—1的方案,觉得怎麽样?」
「编码器预训练显然是有很大的价值,TD—1的成绩已经把这一点表现出来了。」王海峰组织措辞,「像搜索和信息流等方面都很依赖更加精准的语言理解能力,TD—1有帮助我们在这方面提升的潜力。」
李艳红听到这里,已经微微点头了。
王海峰顿了顿,思索着说道:「不过,就像谷歌说的,这些都是基於Transformer的
架构,但Transformer是用了编码器和解码器,而TD—1是只使用前者,如果沿着Transformer的机制走,我们也可以试试解码器的研究。」
李艳红关心了句:「解码器的方案对我们的搜索也可以提供和TD—1一样的帮助吗?」
「从原理上可能还不行,但那也许是一个有趣的方向。」
王海峰说道,「Transformer的机制还没有完全探索完,我相信DLF也是摸索出来的。」
李艳红不觉得有趣。
他翻看来自研究院的汇报文件,再回想王院长的总结,说道:「我们还是应该进一步追赶TD—1的研发,同时做好公司业务对这方面技术的吸收,一方面提高业务水准,一方面推进研发,这才是最佳的战略应对。」
王海峰忍不住说道:「TD—1未必是最佳的Transformer机制方向,我们可以分出来一个团队去————」
李艳红打断,笑着说道:「必要的时候也是可以相信俞总的,我们要形成以战养战的循环,谷歌也说TD—1的架构还没到上限,我们先把它推到上限。」
DLF做了,谷歌做了,俞总也说了,那就直接踩着他们的判断往前推。
这就是在他们正确的战略上继续正确。
本文每页显示
5000字 共
926页 当前第
910页
目录 上一页 ← 910/926 →
下一页 加入书签<