俞兴与周明的会面十分愉快,而有了他的铺垫,晚上再见到纠结扭捏的韦福如,也不觉得出奇了。
人各有志,韦福如要在微软做出成绩也是应有之意,况且,现在不来DLF,以後未必没有缘分。
俞兴对这一点很淡定,也不觉得自己飞一趟就多麽兴师动众,反倒是韦福如感受到碳矽掌门人不远万里而来的胸襟,愈发纠结了。
因为涉及到挖人,也涉及到技术讨论,晚上小宴只有俞、吴、周、韦四人,其他同行来的人多数去市里或者到微软参观。
等到饭桌上的话题转到DLF这次的TD—1模型,韦福如才稍微松了一口气。
吴恩达兴致勃勃的介绍DLF对自注意力机制的研究和探索,也略微提到编码器和解码器方案的利弊,这些同样是周明和韦福如或者说每一个深度学习领域的学者与大厂部门都在思索的。
很快,饭桌上的氛围就转为熟悉的争辩。
自注意力机制展现了让人欣喜的方向,但接下来到底往哪走仍然是巨大的问题。
俞兴在纯技术层面上面的参与度不高,也就边吃边听着他们三个人从共识走向争辩再回归到共识—一规模,还得是规模。
想要模型继续进化,必然需要更多数据的训练,需要更多的资金注入。
「TD—1模型是个证明谷歌机制的好东西,但纯粹编码器的方案可能存在着一个天花板,它对公司当箭的业务看莉,司是,从长远来看,还是需要解码器的生成参与。」韦福如给了一个预测,「想要让模型变聪明,想要让AI真正更加快速的发展,解码器是重要的一环,编码器和解码器的统一就是既能商业又能学术的最佳方案。」
这是他目前在微软着手研究的方向。
俞兴先前已经听过吴恩达总结来自韦福如有别於DLF现在内部争论的第三条路线,现在听到本人的描述,觉得中间的话应该判断的还是比较准确的。
无论如何都不能缺少解码器的生成能力。
他的暗暗点头被韦福如注意到了。
韦福如见状,笑道:「俞总,其实我觉得随着训练量的大幅提高,模型的聪明程度或许会进入一个快速成长期,就好像人类的孩子在几岁之後随着对世界认识的增多,也会突然变得懂事,嗯,怎麽说呢————」
俞兴听到这种说法,眼睛一亮:「涌现,会不会是模型的能力忽然大幅提高的涌现出来?」
韦福如低头琢磨这个词,赞叹道:「不错,这个形容挺好的,涌现。」
吴恩达在旁边问道:「俞总也想过这个?」
「我是不懂这个的。」俞兴惯例表明身份,然後才说道,「我就是觉得有意思,如果我们对深度学习的究极目标是做到AGI,那麽,现在的TD—1模型的能力是1,AGI的能力是10,中间到什麽阶段的时候它会突然让人觉得聪明呢?像孩子那样一下子成熟不少?」
「假设我们一定能走到10,那就一定有这样的阶段吧。」
「我以前是学医的,如果从医学角度,从生物角度,我们来看,从一个非洲爪蟾胚胎上取出来皮肤细胞,不对它的DNA进行任何修改,让细胞自主发育,最终也能重新长出完整的身体结构。」
「整个过程没有人为设计结构,完全都是细胞自主完成。」
俞兴提到的是一个经典实验,英国科学家1958年用非洲爪蟾幼体的肠细胞核移植入去核卵细胞,发现这样的胚胎也能发育成一个个体,而这个个体的基因组与供体细胞一致,即一个分化的细胞在一定条件下能够逆转,进而再发育为一个体。
深度学习三人组完全没明白俞总想要表达什麽意思,相互看了看,确认对方都没懂。
「我觉得DNA像是硬体规格书,不管怎麽测序基因,都没法推导个体宏观的五官和四肢,但是,当百亿千亿的细胞通过离子通道形成广泛的生物电网络,一个个体就拥有了智慧。」
俞兴指了指自己,也指了指对面的韦福如,说道:「成百上千亿的细胞所形成的生物电网络很可能是智慧存在的规模前提,换成我们在聊的深度学习,它也需要那样类似的规模才能出现能力的涌现。」
他用了一个生物上的例子来理解模型的能力涌现,而这恰恰是AI飞快发展的轰动标志o
在OPENAI发布GPT—3之前,所有的模型做新任务都必须微调,要给出成千上万的标注数据,然後针对新任务进行专门的重新训练,最後才能达到很好的效果。
但是,GPT—3的涌现是它不用修改模型的参数,不用样本或者少量样本就能完成训练时从没专门学习过的任务。
比如,没有专门对模型进行翻译训练,但能进行几十种语言的互译,没有教它,它却会了,这是模型展现的让人震惊和不解的能力。
刚开始做一张卷子只能得到20分,等到参数到达一定的阈值,忽然一下子就能得到80
分,也没有中间50分、60分的过渡。
俞兴是在用自己的理解来描述韦福如的涌现判断。
「行了行了,俞总,知道你是学医的了。」吴恩达对於老板的这种说法不以为然。
韦福如理解着来自俞总的话,琢磨了一会,却觉得颇有些意思。
「我也就是耳濡目染,天天听你们说,想着什麽时候能出现更大的进步。」俞兴并不确定自己理解的是否正确,也不清楚自己的例子是否恰当,就是在这个场合尽力的聊聊深度学习的某个未来。
周明这时候笑道:「俞总愿意听,愿意思考,我觉得这还真挺好,深度学习啊是越琢磨越有意思,就是不知道我到底能不能看到AGI出来的那一天了。」
吴恩达耸耸肩:「尽力而为呗,争取多推动推动,也不是只有AGI才能发挥作用。」
他说到这里,看了老板一眼:「当然了,俞总这时候就得强调AI对社会的挑战了,我有时候觉得俞总是最有信心的人。」
俞兴笑道:「外行嘛,不知道你们具体的难处,当然就要乐观了,再说了,我要是不乐观,也不敢把DLF攒起来,不敢帮忙筹钱啊,吴总,你得谢谢我的外行。」
吴恩达不得不敬一杯俞总的外行了。
四个人都笑。
这顿晚饭吃了许久,气氛也相当愉快,直让韦福如在结束的时候都有一种恋恋不舍的感觉,自然语言处理在很长一段时间里都属於冷板凳。
现在既有TD模型的进步,也有同行的热情,还要来自资方的兴趣,一切都太好了。
「俞总,我————」韦福如上车前握着俞总的手,脑子因为酒精有些微微的眩晕,心情也有点激荡。
俞兴倒是止住了这位的话,笑道:「韦博士喝了不少,不管在哪,只要深度学习被推动了,其实都是好事,等到你真心觉得是时候加入DLF了,我们随时都欢迎你的到来。」
韦福如长出一口气,又紧紧的握了握俞总的手,这次给出承诺:「俞总,我一定会去DLF的!」
俞兴上下摇了摇手,送这位上车,目送轿车的离开。
「俞总,我觉得你刚才要是加把劲,他可能就要来了。」吴恩达站在旁边,点了一支烟,又递给老板一支。
俞兴笑了笑:「何必呢,来了也会不甘心的,我觉得DLF能把TD—1模型做出来都是靠你们一条心,嗯,可能你们从百度出来也憋了一股气,非要证明什麽,这才碰见DLF的土壤,才开了花。」
「我对DLF有信心,DLF也应该有自信,有胸襟。」
吴恩达叹道:「这话要是说给韦福如听,他更会愿意来了。」
俞兴抽了一口烟,摇摇头:「就这样,但可以看看周院长提供的名单,早点睡,明天我还想看看盖茨呢。」
吴恩达酒量不差,这会没有丝毫醉意,反而忽然说道:「俞总,之前聊的那个涌现确实有点意思,要是把人当成一个AGI,生物电的规模确实是前提哈。」
俞兴哈哈一笑:「是吧,我的思考还是有一定启发的吧。」
吴恩达连连点头,但又忽然摇头:「说不准是让我误入歧途。」
俞兴嗤笑一声,转身走入酒店。
吴恩达落後两步,瞧着老板的背影,俞总确实有自信。
次日,在俞兴抵达美国的第二天,在赴盖茨之约之前,他和英伟达的黄仁勋拍照留念,迅速取得共识,DLF和碳矽数据在未来一年会从英伟达采购至少千万美元的算力卡,具体的规模还需要两家公司确认。
俞兴接受了英伟达第二代AI产品的礼物,黄仁勋则是直接把照片发到了推特。
「黄总,至於这样炒一炒吗?」俞兴对於这麽迅速的动作有些哭笑不得。
「这个时代都需要炒啊,加密货币要炒,当总统要炒,你们做空不也是要炒吗?」黄仁勋很理直气壮。
俞兴笑了两声,突然问道:「黄总,听你这麽说起来,你们公司今年对来自加密货币市场的挖矿需求有预期吗?」
加密货币今年的跌幅很大,直接打击了挖矿热情,也就和英伟达的产品联系在了一起O
英伟达过去的财报一直没有披露涉及到挖矿这一块的营收比例,但是,过山峰内部认为,这一块可能还有不小的关联。
黄仁勋听到这个问题,心中警惕,面上如常:「我们就是正常出货,没听说有大的波
动,我也不关注这一块,俞总,你关注吗?」
俞兴一笑:「你不关注,那我也不关注。」
黄仁勋拿起咖啡,趁着半杯入肚的功夫,觉得这样的问题有点异常。
他放下杯子,乾脆直接问了出来:「俞总,你不会真要做空英伟达吧?这样不地道了吧?你们基金从我们身上赚了那麽多,难道这种时候要踩一脚吗?」
黄仁勋连连摇头,不再纠结这个,只是说道:「俞总,我们股价还要涨的,深度学习这个时候迎来发展,简直是太好了,我们在这个领域应该取得共识,我卖铲子,你搞模型,我们都有光明的未来。」
俞兴「嗯」了一声:「卖铲子的肯定是能发财。」
黄仁勋笑道:「那就借俞总的吉言,争取为股东带来更好的收益。」
过山峰基金在美国重仓的股票只有那麽几只,英伟达是其中之一。
两人确实是存在共识的,所以,这次见面也没有太多场面话。
等到晚上,俞兴如约拜访盖茨,双方的场面话就多了起来。
不过,盖茨开了个和黄仁勋类似的玩笑:「俞总,你这次来美国,是要做空微软吗?」
俞兴微微一笑:「我到美国之後碰到的人都要问我这样的问题,英伟达的黄仁勋问我做不做空他的公司,你也这麽问我,我已经能想像到碰见马斯克的时候,他会问我什麽问题了。」
盖茨听到马斯克的名字,饶有兴趣的顺势问道:「俞总对特斯拉在你们国家的汽车市场是什麽看法?」
俞兴心里玩味,又想到这位传说中的做空,一本正经的答道:「特斯拉在羊城的工厂建设特别快,快到超过常规的预期,现在又碰见检修,特斯拉确实很担心外界一直对它有所顾虑的产能问题。」
这话就好像在暗示工厂快速上马所导致了问题。
盖茨闻言还真点了下头:「特斯拉的羊城工厂确实很夸张,我认为擅於使用华夏政策的碳矽集团会是特斯拉的强力对手。」
俞兴知道盖茨现在出现的毛病,手里有锤子,看什麽都像钉子。
空头想做空,怎麽都能找到利空因素。
俞兴念头一转,笑着提起来自空头查诺斯的邀请,聊到他所设想的死亡螺旋。
盖茨颇为认真的聆听,他是一个相信专业人士的人,既相信面前这位在新能源领域的
造诣,更相信他的做空水准。
只是,他听完之後问了句:「俞总,既然这样,你和查诺斯有类似看法吗?」
俞兴沉吟道:「我需要再看看,但马斯克现在确实比较危险,如果特斯拉的控制权被动摇,那些空头们肯定会一拥而上的。」
盖茨瞧了一眼面前最可能一拥而上的空头,眼神闪了闪,说道:「俞总,你确实要慎重。」
俞兴笑了笑:「我这次来美国主要还是看看微软,看看谷歌,看看大公司,也看看深度学习,我对做空不感兴趣。」
盖茨不认为这是真话,但他自己对做空特斯拉是很感兴趣的。
本文每页显示
5000字 共
926页 当前第
916页
目录 上一页 ← 916/926 →
下一页 加入书签<