“今天,我们一起发起了一场运动。”
2007年5月24日下午3点,在Facebook*次开发者大会上,年轻的扎克伯格向台下上千名开发者发出一则“革命宣言”。这是扎克伯格*次在公众场合上台演讲,他在台下把这句开场白练习了无数遍。
当时,Facebook已经从校园走向社会,面向所有互联网用户开放,一举站上社交媒体金字塔尖的宝座。但扎克伯格不满于此,他开始尝试触达计算机世界更高的宝座——操作系统。
Facebook将其开发者大会命名为F8,指代Facebook经常会举办的“通宵黑客马拉松活动”——将工程师们聚在一起,用8个小时完成一个不切实际的想法。同时,F8的英文发音和fate(命运)相似,仿佛暗藏了扎克伯格认为Facebook命中注定将成为时代霸主的野心。
但遗憾的是,决定开发操作系统后的十几年里,Facebook定下的大计划几乎没有一次能圆满完成——社交媒体操作系统折戟;错过移动互联网的先机;在元宇宙的一片虚火中全力押注,最终血本无归。这家曾经的社交媒体巨头在一次又一次误判中跌落尘埃。
今天,Meta又找到了“AI”这根救命稻草,并已经开始看到曙光。
7月,Meta发布了2023年Q2季度财报,多项数据超市场预期。财报显示,Meta在2023年Q2季度中,总营收为320亿美元,同比增长11%;Q2季度每股收益为2.98美元,同比增长21%,创2021年四季度以来新高;净利润为77.88亿美元,同比增长16%。这是Meta自2021年四季度以来,营收增长幅度首次达到两位数。
但坏消息是,元宇宙给公司带来的亏损仍在扩大。据财报显示,元宇宙所在的Reality Labs(现实实验室)部门,在2023年Q2季度亏损达到37.3亿美元,Q1季度亏损额达39.92亿美元。 Meta的元宇宙部门已经连续两年亏损百亿美元以上,2022年共计亏损137.17亿美元,2021年亏损101.93亿美元。Facebook改名Meta之后,已经在元宇宙项目里亏损了约316亿美元,股价直接性损失了约三分之二。
Meta也在尝试将其大模型整合至原先的社交媒体产品矩阵中,但将AI植入社交媒体由此带来的财务增长或许并不是大模型*的商业模式。可以说,此时此刻无论巨头还是创业者,都没有为大模型找到一个长久且行之有效的商业模式。
那么,Meta究竟能否凭借LLaMA重回*?
1.“羊驼热潮”
一场来自Meta的反击
经过半年发酵,人们对大模型的狂热终于逐渐冷却,开始考虑“下一步”该怎么走。
学术界依然“岁月静好”,继续探索如何治好大模型胡说八道的毛病,以及大模型之外,人工智能还有哪些更值得想象的未来。
而商业世界就是另一番景象了。巨头们打得面红耳赤,生怕错过定义下一个时代的机会;创业者们削尖脑袋,拼命寻找尚未被巨头占领的处女地,试图出奇制胜。
但在围绕大模型的新一轮商业竞争中,Meta作为科技巨头却显得颇为“佛系”。
OpenAI去年11月底发布ChatGPT,但当时的Meta还因元宇宙血亏而身陷裁员阵痛。今年1月,Meta似乎才反应过来,着手训练更轻巧的语言模型LLaMA。
2月25日,Meta“不小心泄露”了LLaMA模型(英文中,llama译为“羊驼”)。LLaMA模型有70亿、130亿、330亿和650亿四种参数规模,训练语言高达20种。
在对比测试中,LLaMA模型在仅130亿参数规模上,就已经可以“在大多数基准上”胜过参数量高达1750亿的GPT-3,且能在单块V100 GPU上运行;而其650亿参数的模型已经可以媲美谷歌的Chinchilla-70B和PaLM-540B。
整个训练数据集在token化之后大约包含1.4万亿个token。其中,LLaMA-65B和LLaMA-33B是在1.4万亿个token上训练的,而最小的模型LLaMA-7B是在1万亿个token上训练的。
LLaMA给出了一条独立于GPT路线的新思路——更大规模的训练数据+更精巧的算法能够降低模型对参数和算力的依赖。
2022年3月,来自DeepMind的Jordan Hoffmann等人在论文《Training Compute-Optimal Large Language Models》中提出“Hoffmann定律”:用20倍于模型参数规模的训练数据来训练大模型,效果*。而LLaMA模型的训练数据量正好约为参数规模的22倍。
LLaMA的出现已经让外界对Meta刮目相看。但所有人都没想到,Meta的大招还在后面。
时隔5个月,7月19日,Meta携手微软推出开源大语言模型LLaMA2。发布当天,扎克伯格在Facebook上传了一张和微软CEO萨蒂亚·纳德拉的合照。照片中二人面带微笑,甜蜜相拥,背后蓝天白云、绿草茵茵,一派祥和。有网友调侃道:“我想知道OpenAI感觉如何?”
图片来源:扎克伯格Facebook主页
Meta还发布了一篇长达76页的论文,详细说明了LLaMA2诞生的全过程,包括模型详细信息、训练阶段、硬件、数据管道和注释过程。NVIDIA高级人工智能科学家Jim Fan称赞这篇论文是“一部杰作”。至少从行动上看,Meta的开源很有诚意。
LLaMA2将“大模型应该开源还是闭源”的争论推向了高潮。
开源与闭源之争几乎伴随了整个计算机技术的发展历程。从PC时代的Windows与Linux之争,到移动互联网时代,苹果iOS与谷歌安卓二分天下,每一次开源生态崛起,都会带来一场市场的重新洗牌。
在美国大模型厂商中,谷歌是闭源阵营,OpenAI前期开源,后期迫于商业压力也转向闭源,以API付费的方式向开发者提供服务。
种种迹象表明,Meta发布的开源模型已经开始冲击闭源玩家。
LLaMA2发布一周内,Meta就收到了超过15万次的下载请求,开源社区star数量直逼3万颗,基于LLaMA2微调的模型与插件也如雨后春笋般冒出。
同时,LLaMA2也降低了大模型私有化部署的门槛,很受企业欢迎。LLaMA2构建在Meta自己开发的PyTorch框架上,PyTorch可以大幅减小模型的体积,让模型变得更轻巧,极大降低了运行大模型的硬件门槛,个人用户甚至在普通电脑上也可以部署运行LLaMA2。
以上均得益于Meta对模型本身的精巧构思,而比模型设计更“精巧”的,是Meta对开源社区的深刻理解。
Meta聚拢了很多合作伙伴共同向客户及开发者提供LLaMA2模型,阿里云、Amazon Sagemaker、Databricks、Microsoft Azure以及IBM的WatsonX都已支持LLaMA2使用,开发人员可以在单个GPU上微调70B的模型,采用成本被大大降低。
最近一项题为 “大型语言模型的挑战和应用”的研究指出,经过微调的闭源模型和开源模型之间存在能力差距。但借助LLaMA2,社区可以缩小差距,开发出可与OpenAI的GPT模型相较量的竞争对手。
值得注意的是,Meta给LLaMA2的“免费商用”设置了一个意味深长的限制条件。根据LLaMA2的授权政策,如果企业的月活用户数超过7亿,必须从Meta申请许可证,Meta会对此类授权严格设限。
Meta并未明确解释设置这项政策的实际原因,但从“月活7亿“的门槛来看,基本上把现在的巨头挡在了门外。产品月活超7亿的公司有YouTube(25亿)、苹果 (18亿)、微软(14亿)、三星(10亿)、领英(9亿)、Snapchat(7.5亿)等,而这些正是Meta的主要竞争对手。
通常意义上,开源和闭源有着明确的“分工”。开源承担推动技术繁荣的理想与信念;闭源则负责为商业公司构筑技术壁垒,谋取更多利润。但Meta似乎试图在开源的理想主义和闭源的利益为先之间寻找一个平衡点——一边高举开源大旗,繁荣创新;一边和竞争对手划清界限。
不得不说,和2021年“All in”元宇宙相比,Meta这次的战术显得更加明智。某种程度上,这更像是蛰伏已久的Meta,向所有人发出的一次“反击”。
一直以来,以社交媒体起家的Meta常被人诟病缺乏科技基因。在今年5月举办的“白宫AI峰会”甚至没有邀请Meta。有记者询问原因时,一名匿名官员回应道:“目前在该领域处于*地位的公司,才会收到邀请”。
LLaMA2发布后,Meta和背后的扎克伯格或许终于能扬眉吐气一回。毕竟,为了这一天,扎克伯格已经带着公司在AI这条路上跑了10年。
2.Meta AI的十年
研究的巨人,产品的矮子
2013年,谷歌、微软、百度、DeepMind四家公司为一场竞拍争红了脸。
竞拍对象是一家名为DNNResearch的公司,这家公司没有任何产品,也没有生产计划,全公司甚至只有3名员工和几篇论文。
而这3名员工,就是真正让大厂们垂涎已久的对象。他们分别是多伦多大学教授Geoffrey Hinton(杰弗里·辛顿)与他的学生Alex Krizhevsky(亚历克斯·克里泽夫斯基)、llya Sutskever(伊尔亚·苏茨克维)。
彼时,师徒三人已经是人工智能领域传奇版的存在——他们合作设计了卷积神经网络(CNN)架构AlexNet。AlexNet在LeNet(LeNet-5,最早的卷积神经网络之一)的基础上加深了网络的结构,结合GPU强大性能直接横扫2012年ImageNet挑战赛,一举打破深度学习的寒冬。
最终,谷歌以4400万美元拿下了DNNResearch。如今回看,这场竞拍正是即将到来的深度学习革命的前奏。
错过杰弗里·辛顿这张王牌后,扎克伯格开始带领Facebook着手组建自己的AI王牌部队。他找到了另一位出色的AI梦想家——Yann LeCun(杨立昆)。
上世纪80年代,Yann LeCun就创造了卷积神经网络,被誉为“卷积神经网络之父”。上文所说的AlexNet,便是在他的研究成果LeNet之上发展而来。
2013年10月,扎克伯格亲自给Yann LeCun打了一通电话:“我们公司已经走过了十年,需要考虑下一个十年。我们认为人工智能将会扮演一个非常重要的角色。”他诚挚邀请Yann LeCun帮助Facebook建立一个世界*的人工智能实验室。
Yann LeCun同样提出了很多要求——实验室必须独立开放,研究成果完全开源,他本人要继续在纽约大学任教等等。二人一拍即合,Facebook入局AI已是箭在弦上。
2013年末,由Yann LeCun主导的FAIR实验室(Facebook's Artificial Intelligence Research)宣告成立。
Yann LeCun一直提倡产学合作制度,这也让FAIR有着浓厚的学术氛围。根据实验室华人成员田渊栋介绍,FAIR实验室目标就是发高质量文章、做有力的前沿工作,且研究氛围非常自由,没有产品压力。自由包容的研究氛围也为FAIR吸引了大量的学术大牛,诸如何恺明、田渊栋、Edward Grefenstette等。
之后几年,Yann LeCun携手一众学者将FAIR打造成与DeepMind、OpenAI齐名的全球*AI实验室。
FAIR将相当一部分研究精力都集中于攻克推理、预测、计划、无监督学习等基础问题,开发了诸如深度学习框架PyTorch、深度卷积生成对抗网络(DCGANs)等技术工具。
以深度学习框架为例,2017年,FAIR实验室陆续开发学习框架PyTorch、Caffe2,一举打破了谷歌在框架领域称王的局面。仅在发布一年后,PyTorch的论文提及数量猛增194%,份额直逼TensorFlow 。
此外,FAIR也始终保持着开放的态度,坚持对外发布前沿的研究成果,并尽可能地对外开源研究代码、数据集和工具。据Hugging Face创始人Clement Delangue介绍,截至2023年8月,在Hugging Face上,Meta共有689个存储库,相比之下,谷歌有591个,微软只有252个。
可以说,Meta是目前为止开源数量贡献最多的科技大厂。
“Facebook在FAIR之前没有任何研究实验室,这是*个,在那之前,该公司非常专注于短期工程项目,期限为6个月,甚至更短,”Yann LeCun曾回忆道。
“在Facebook的头五年里,我对创建研究实验室说‘不’,”首席技术官Mike Schroepfer在Facebook的一篇帖子中写道。“2013年,人们发现人工智能对于 Facebook的长期未来至关重要,所以我们必须想办法解决这个问题。”
成立五年后,FAIR的影响力已渗透到整个公司。该小组在门洛帕克、纽约、巴黎、蒙特利尔、特拉维夫、西雅图、匹兹堡和伦敦设有实验室。他们与学术机构合作,发表了无数论文和研究,该小组在五周年时间表中列举了其中的许多内容。
然而,尽管FAIR给Facebook在AI学术领域带来无数高光时刻,但在如何把AI变成产品的问题上,Facebook却闹了不少笑话。
Facebook改名Meta后,也发布过类似的聊天机器人BlenderBot3(简称“BB3”)。当有记者向BB3提问:“你如何看马克·扎克伯格这个人?”BB3毫不犹豫地回答:“他在国会作证时的表现太差了,让我对美国的未来感到担忧。” “我不喜欢他,他好诡异,并且控制欲很强。”“他冷漠无情。”
这些狂踩老板的发言,吸引了大量网友纷纷涌向BB3一探究竟。但很多人发现,BB3不仅喜欢狂踩自己老板,还会一本正经地胡说八道,并不时生成诸如反犹主义、种族歧视等偏见。
最终,被寄予厚望的BB3不仅没有强化Meta的 “科技”标签,反而深化了其煽动仇恨的恶名。相似的尴尬在2022年11月再次上演,定位在“科研助手”的大模型卡拉狄加(Galactica),却意外成了“科学造假发动机”,在发布仅3天后便匆忙下架。
至此,Meta在AI产品上的两次尝试均以失败告终。“如何将AI变成产品”,成为全公司共同的待解命题。
Facebook在AI产品上的失败,很大程度上来源于FAIR类似学术研究的项目驱动模式。研究人员推进各自议程、追求独立的项目,这给了研究人员很高的自由度,但并不利于制定一个有凝聚力的全公司战略。
这种模式也让Meta内部资源分配过于分散,不够聚焦。Facebook会给每个项目划分独立的硬件资源池,但并非每个项目研究都能完全消耗分配到的芯片,一旦有所剩余,研究人员为保证项目组得到充分的算力资源,就会将多余的芯片投入一些并不重要的研究中。
长此以往,劣币驱逐良币,最终结果只能由整个Meta来买单。
反复出丑的AI产品,不断消耗公众的热情。BB3发布时,还有公众认为“Meta内部有更好的AI,但选择发布一个糟糕的聊天机器人”。但当大模型卡拉狄加(Galactica)发布后,用户已经攒够了失望,“Meta只能发布一个糟糕的AI”似乎成为了一种共识。
更致命的是,对Meta产生怀疑的不只是用户。在今年4月末的内部调查中,只有26%的Meta受访员工表示仍对公司的领导层充满信心。而已经失去信心的人,也选择了“用脚投票”。据《华尔街日报》报道,去年Meta至少有三分之一曾参与LLaMA、OPT项目的研究人员因筋疲力尽或对Meta缺乏信心而流失。
公众则延续了对Facebook的严厉审判,没有人想为一个侵犯隐私、散播偏见的社交巨头,买单另一个喜欢胡说八道的语言模型。
不过,尽管Meta已经陷入内忧外患的境地,但Meta依然没有离场。Meta斥巨额资金押注AI,接连发布SAM、LLaMA2,Meta正在用自己的方式,重回人工智能的赛道。
跳出Meta本身回看这段历程,一个朴素的问题浮出水面:社交媒体起家的Meta为什么要“死磕”AI?
事实上,从Facebook到Meta,这家公司的一举一动都和扎克伯格的思想动态深度绑定。因此,要研究这家公司做一件事的动机,最终还是要在扎克伯格本人身上寻找答案。
3.野心家扎克伯格的三次“误判”
扎克伯格是一个不折不扣的野心家。自始至终,他都梦想能创造一个完全平行于现实的虚拟世界。只是,扎克伯格定下的每一个“小目标”,几乎都没能圆满完成。
2004年,扎克伯格带着“连接世界”的梦想,创办Facebook。Facebook团队陆续创造了动态讯息(News Feed)、点赞(Like)等功能,成功吸引了更多用户,将Facebook从校园应用转变为开放应用。
不过,规模增长远不是扎克伯格真正的野心——他想打造一个专属于Facebook的操作系统(平台)。
扎克伯格开始将Facebook想象成与Windows相当的社交网络操作系统,像微软拥有桌面世界一样,Facebook将拥有社交世界,成为*一家掌握社交图谱全貌的公司。
很快,扎克伯格醉心于平台的研发中,努力寻找各类创业者开发应用。Facebook甚至举办了一场黑客马拉松,邀请开发者发挥自己的奇思妙想。不久后,音乐、游戏、互动等各类应用接连上线,成千上万的开发者涌向Facebook,准备开启新一轮“淘金热”。
但此时,移动化浪潮来袭,让扎克伯格乱了阵脚。
当扎克伯格带领团队埋头打造开发者平台时,乔布斯正将世界带入“iPhone时刻”。眼看着人们使用桌面电脑的时间越来越少,一直痴迷于在PC端建立开发者平台的扎克伯格幡然醒悟——Facebook赖以生存的PC系统将很快被颠覆。
似乎一夜之间,Facebook这家社交媒体时代的“变革者”,摇身变成了移动互联网时代的“跟随者”,他们要重新学习移动时代的新规则。
移动平台不像桌面电脑,它不是直接将内容分发给用户,而是在由苹果或谷歌这类硬件设计厂商运营的应用商店中上架。想要上架,就要遵守对方的规则,这对一个想要掌控未来的野心家而言,显然是不情愿的。但此时的Facebook已经无心思考了,范式更迭中,生存才是最重要的。
在接下来的几个月里,扎克伯格重新学习移动生态经济学,Facebook团队则针对iOS、安卓系统重新开发原生应用。直到2012年3月,Facebook移动生态才终于稳定下来。
但扎克伯格不满于仅在上层应用做些“皮毛”工作。错过PC时代的扎克伯格开始卯足力气,想和移动互联网时代的软硬件巨头谷歌、苹果搏一搏,打造自己的手机并开发配套的手机操作系统。
扎克伯格快速行动,与同样错失移动浪潮的芯片公司英特尔(苹果和安卓都选择了其竞争对手的芯片)合作开发了一款Facebook手机。这部手机配备时尚的曲面屏,甚至已经有了一部样机。
但随着预定日期临近,Facebook愈加发现这笔生意不划算:Facebook没有硬件生产的相关经验,而制作一个操作系统又需要高额的资金投入。加上此时的移动生态已经由两大平台——谷歌的安卓与苹果的iOS系统所把持,Facebook的挣扎可能不会激起什么水花。
至此,扎克伯格只好搁置自己的野心,重新踏上寻找未来的征途。
2014年,扎克伯格寻找到一个新的可能性:虚拟现实。
尽管这时距离扎克伯格认为的“濒死体验”仅仅过去两年,但他还是觉得Facebook想要拥有未来,就需要为下一次范式转变做好准备。
在多次会见虚拟现实头显制造商Oculus后,扎克伯格更加笃定地认为:“虚拟现实是下一代平台,错过这个机会就像错过移动互联网一样。” 终于,在2014年7月,扎克伯格以20亿美元的价格收购了这家初创公司,正式开启了虚拟现实之路。
扎克伯格一直对虚拟现实的未来充满信心。在他的设想中,Oculus将在21世纪30年代成为主导平台,所有的平台都将置于更为紧密的控制之下。在2017年Oculus开发者大会的主题演讲中,扎克伯格就设立了“10亿人使用虚拟现实产品”的目标。而对当时Oculus的高管来说,这是他们直到彩排才知道的预测数字。
扎克伯格在虚拟现实领域持续投入,也在寻找一个适当的机会向前突破,将它带到公众面前。 2021年,扎克伯格找到了自认为对的时机。
2021年,随着游戏平台Roblox以“元宇宙*股”的概念上市,元宇宙迅速引爆资本市场。随后游戏开发公司英佩估值快速上升、元宇宙ETF基金上线,全世界掀起了一股元宇宙风潮。
火热的元宇宙让扎克伯格看到了虚拟现实的可落地性,加上此时TikiTok对Facebook社交媒体份额的蚕食,2021年10月,Facebook改名Meta,正式押注元宇宙。
这一次,扎克伯格终于先人一步。可惜的是,扎克伯格并没有找准时机。
从押注元宇宙开始,Meta就将FAIR实验室并入元宇宙核心部门Reality Labs,并加大人员扩充。据The Verge报道显示,Reality Labs在一年时间里增长了约7000名员工,总员工已超过17000人,已经占整个公司的五分之一。在资金上,Meta也在继续加码,2021年Meta全年在Oculus上的投资超过100亿美元,2022年这一数额上升至158.8亿美元。
然而,庞大的资金、精力、人员投入并没有获得相等的回报。截止2022年2月,Meta开发的元宇宙社交平台Horizon Worlds,只有30万左右的用户量。从Meta发布的财报来看,Reality Labs在一年半内亏损达210多亿美元,Meta股价更暴跌了近60%。
转型受挫的Meta急需回血,尽管扎克伯格依旧为元宇宙热情辩护,但现实的资金压力还是让扎克伯格调转方向,回到现实轨道的中来。
正巧的是,2022年11月,OpenAI发布ChatGPT,带来一场愈演愈烈的生成式AI热潮。
比起大力投注元宇宙,利用人工智能曲线救国,显然更加现实。在衡量公司状况、发展前景等多方状况下,扎克伯格选择及时止损,开启“效率年”,将目光投向生成式AI。
扎克伯格他率先从元宇宙项目着手,叫停了VR设备生产并停止为Quest Pro订购新的零部件。另外,扎克伯格继续严控成本,削减中层管理人员和一些表现不佳项目。自去年11月裁掉1.1万员工之后,很快,Meta又宣布了第二轮裁员。
在一系列调整后,Meta继续加注生成式AI。据Meta首席财务官Susan Li 介绍,Meta在2023年会斥资330亿美元来支持“人工智能能力的持续建设”,研究成果也将会被集成到Meta产品中来。
目前,Meta已经在尝试将大模型集成到原有产品上。随着AI推荐加入社交产品中,用户在Instagram上花费的时间增加了24%,Instagram的季度增幅超过30%,Meta2023年第二季度总营收同比增长11%,数额达320亿美元。这也是Meta自2021年四季度以来,营收涨幅首次达到两位数。
但更严峻也更现实的问题是,Meta缓慢增长的营收,还能否支撑得起大模型混战后续所需要的巨额投入?显然,现在不是回答这个问题的*时机。毕竟,在“如何用大模型赚到钱”这件事上,所有人都还在摸着石头过河。
至少目前为止,在扎克伯格“连接世界”的野心之下,AI是*一个看到回报,并有望让Meta在商业的丛林世界中重新站起来的计划。
2017年,扎克伯格回到哈佛,进行毕业典礼演讲。他说:“让我告诉你们一个秘密,‘没有人一开始就知道(Facebook)该怎么做,想法不会在最初就完全成型。只有当你开始行动时,事情的脉络才会逐渐清晰,你只需要开始行动。如果从一开始我就要完全弄明白‘如何连接人’,我永远做不出Facebook。”
尽管现在依然没人能看到这轮大模型混战的终局,但已经对时代浪潮误判三次的扎克伯格或许可以松一口气——Meta终于没有错过大模型。