与三四年前国内云端AI芯片公司们在发布会的PPT上超越英伟达的豪言壮志形成鲜明对比，如今这些公司在现实里到处碰壁，许多连北都找不着。
“刚过完年，我们把芯片送到客户那里测试时，才发现我们的软件根本没办法满足客户应用场景的需求，因为有些功能设计的时候就没考虑到，我们当场就傻眼了。”
这还是拥有AI芯片的公司才能感受到的痛楚，产品还没出来的公司，在2022年的资本寒冬里，奋力融资。
“我只能用腥风血雨来形容抢融资的可怕。”目睹AI芯片公司间争抢融资的从业者露西说，“为了能够拿到融资，有些初创公司写抹黑竞争对手的尽调报告，再单独发给投资人阻碍竞争对手融资。”
当然，为了拿到融资，还有AI芯片公司讲起了GPU的新故事。
“不懂的人不会投了，真正懂的人只会投真能落地的AI芯片公司。”这几乎是业界的共识。
但云端AI芯片公司们落地的时候，才真切体会到设计出芯片只拿到了“入场券”，才真切体会到软件有多难做。
现实让云端AI芯片创业者们更加心知肚明的是，不要说超越英伟达，卖出一张AI加速卡才是最现实的目标。
这就留下了一个值得深思的问题，如果AI芯片的参与者们和投资人们都只是想赚快钱，那狂欢结束能给国内半导体产业留下什么？
01
资本寒冬里，
为抢融资不择手段
对于单款芯片开发成本就高达数亿元，每年员工的薪资支出高达上亿元的大芯片创业公司，大量融资成为了活下去的关键。“拥有更多融资，就有更大熬死竞争对手的机会，最终就能活下来。”数位投资界和芯片业界的人都对雷峰网说。
融资能力成为了一家大芯片创业公司掌舵人重要的能力，在2022年的资本寒冬里，就更加考验大芯片公司的创始人们。
“市场上的资金是有限的，为了能够获得融资，除了拼实力，有的公司也耍起了手段。”露西有些愤慨，“为了阻碍竞争对手融资，一家芯片公司找竞争对手公司的离职员工挖黑料，找第三方机构出一份尽调报告一对一发给投资人，投资人收到尽调报告后质疑其可信度，找撰写报告的机构确认，机构支支吾吾回复说是实习生写的，这种手段有些拙劣。”
这家为了抢融资的GPGPU（通用图形处理器，属于AI芯片的一类）初创公司不择手段其实也容易理解，毕竟作为为数不多还没正式发布产品的公司，处境尴尬，为了拿到参赛入场券，只能先拿融资，特别是在投资人愈加谨慎和理性的2022年。
“还好当时创始人‘骗’了我们，如果当时创始人特别理智的给我们分析投资大芯片创业的风险，我们也不敢投大芯片。现在我们也‘上船’了，就大家一起划船。”一位回过味的AI芯片投资人在2022年变得更加谨慎。
这与几年前的情况大不相同。
“在AI大热的2016年前后，AI芯片公司创始人甚至连完整的商业计划书都没有就能获得几亿融资。后来，AI芯片公司的创始人靠着在PPT上超越英伟达也能获得融资。但到了如今，投资人不仅要看产品，还要看芯片的MLPerf Benchmark（一套用于测量和提高机器学习软硬件性能的通用基准），更实际的投资人直接看芯片落地的订单的发票。”AI芯片从业者张伟（化名）看得很清楚。
“陪AI芯片初创公司真正跑出来难度太大了，即便我们天使轮就投资了一家非常有潜力的AI芯片公司，他们的产品也在落地过程中，但是高估值没有足够的支撑，对我来说是一个很大的压力，我们在考虑退出。”投资了多个早期项目的投资人王军（化名）表达了自己真实的想法。
关于AI芯片公司的估值，放弃投资AI芯片初创公司的投资人Blake说，“给AI芯片公司估值没有一个很好的锚，提高或者降低50%都可以，这对投资人而言算不上好机会。”
为什么资本还是涌入了AI云端芯片领域？“一个是赛道逻辑，看到英伟达生意好、市值高就投资。另一个是一级市场投资人抱团。还有就是很多投资人并不专业，特别是跨领域的投资人和机构。”Blake认为。
实际上，不止是没有产品的公司在抢融资，有产品但资金紧张的AI芯片公司也参与了“抢融资”。
02
起个大早，赶了
个晚集的「早鸟」
说来有趣，有产品但还要抢融资的公司A此前面临过一次融资危机，公司的两次动荡为这家公司的前景蒙上一层阴影。另一家起个大早的AI芯片初创公司B早早准备好产品，却被困在了软件里，先发优势消耗殆尽。
两家起了大早赶了晚集的AI芯片公司，一个从公司经营的维度，另一个从产品的维度，展现了大芯片创业的巨大挑战。
两次动荡，前途未卜
A公司成立很早，2018年就发布了*产品，占据了先发优势，但这家公司的前员工向雷峰网透露，在公司发布*产品的一年多之后，融资一直处于B轮，融资进度跟不上研发需求，于是开始缩减业务、欠薪、裁员，连CEO也被“裁”了。
A公司的前员工透露，“那次的大变动，公司只保留了芯片团队，公司管理层和业务大洗牌。不过融资也只是公司动荡的其中一个因素，实际是各种因素的共同作用。”
业界的说法是，这家公司的CEO和联合创始人在技术路线上理念不合，联合创始人和投资人一起让CEO出局。
创始人被踢出局的戏码算不上新鲜，但不幸的是公司的关键人物变动似乎成了这家公司的“劫”。
A公司在*次动荡之后重整旗鼓，发布了新产品，迎来新的掌舵人，正当一切都重回正轨之时，再次遭遇动荡。
“A公司新任CEO气焰有些嚣张，声称某公司的项目势在必得，2022年能落地2亿的项目。”多位AI芯片业界人士都向雷峰网提及。
但这位经验丰富的CEO还没实际创造2亿的营收就遭遇了调查。
“一时间，香饽饽CEO好像成了烫手山芋，不说2亿，不知道A公司今年能不能实现几千万的营收？”这成了同行会关注的话题。
每代产品不同样，没有高质量落地项目
A公司因为人的因素没能占尽先机之时，B公司被局限在了创始团队的认知里。
“软件做的真的太差，客户没办法用起来，自然难落地。”几位B公司前员工以及业内同行都如此评价。
软件没做起来，是因为硬件设计也有问题。
“B公司的芯片迭代到了第三代，但每一代芯片架构思路都在变，甚至首席架构师都不同，设计出的硬件微架构也有很大的不同，硬件架构没有延续性，就算软件的工程师再努力，软件也难以复用，每一代产品软件就像是从零开始。”了解B公司的马超（化名）说：“另一方面，B公司没有能真正掌控整个软件栈的技术大牛。”
一位B公司的前员工透露，公司没有业界*的大牛，软件团队的人背景虽然都还不错，但就背景差不多造成了相互看不上，怎么可能做出好产品。当然，公司请过一个业内某技术领域的高手，但面对AI芯片这么大一摊子软件，估计也很难把控，待了一个多月两个月就离开了。
对于这种情况，几位业界人士有一些共识，这家公司的创始人确实是有深厚积累的芯片专家，但毕竟不是芯片架构方面的专家，有局限性也很正常。但这家公司的创始团队中没有软件的大牛，外部招来的人即便能力再强，也很难被“接纳”，在核心管理团队中没有话语权，也很难发挥合力做出好产品。
没有高效、好用的软件，也是B公司的投资人虽然购买了少量芯片测试，但没能通过灰度测试，进入大规模采购环节的关键原因。当然，B公司也拿到了政府项目，订单金额不小，但实际能不能产生真实利润都存疑，算不上高质量、可复制的落地项目。
其实，目前国内AI云端芯片公司大部分创始团队都是有深厚的芯片从业背景，在对软件的理解和重要性的认知上有明显的局限。
一位国内AI芯片公司软件的负责人直言：“CEO和CTO都听不懂我的工作。一些国内AI公司创始人对软件的认知，相比*的国际大公司，我认为有十几年的差距。”
那么，AI芯片的软件到底难在哪？
被AI软件栈困扰的AI芯片公司负责人陈俊（化名）指出，一方面，AI芯片的软件是从零开始，具有天然的复杂性，与CPU不同，各家的AI芯片计算架构和指令都不同，从编译器到库再到框架的适配，都不像CPU一样有开源可以复用的东西。
另一方面，AI的软件生态实际上就是英伟达生态，但英伟达的软件生态，尤其是CUDA相关的核心部分都是闭源、封闭的，想要将自家的软件与英伟达的生态兼容的难度可想而知，想要短期内自己建立一个新的AI生态，无异于痴人说梦。
最后，云端AI推理应用的多变性。目前AI的算法和模型仍然在快速发展和迭代，好不容易实现了图像分类ResNet 50模型的优化，新的语言模型BERT模型又开始流行，自然语言处理模型又开始越变越大，BERT的各种变形枝繁叶茂，这也增加了AI芯片软件的开发难度。
尤其是编译器相关的开发难度，以及针对不同模型不依赖手工优化，仅通过编译器完成自动化性能优化的模型泛化能力，这个能力的缺失几乎成了大多数AI芯片停留在“送测”而不能获取订单的核心原因。
这些是所有英伟达的挑战者面对的技术难题，同时还有人才的挑战。
马超和大多数AI芯片的从业者有相同的观点，“要打造一个完整易用的AI软件栈，必须要有一个不仅熟悉驱动、固件等基础软件，既能够从上向下看，也要能从下往上看，对整个AI软件生态有全面认识，有足够经验和能力的软件大牛。”
“AI芯片火起来之前，在国内做编译器是个非常冷门的职业。”陈俊说：“编译器是AI芯片软件栈中重要的部分，国内芯片相关软件人才非常匮乏。”
03
手握入场券，败倒在
客户「变态」的模型里
AI芯片创业公司软件栈的问题并非无解，已经在百度落地的昆仑芯，以及在字节跳动落地的希姆计算，是国内为数不多被商业市场检验通过的AI芯片公司，摸索出了一条具备可复制性的商业化道路。
熟悉希姆计算的王雷（化名）说，“软件都是和场景相关的，想要把软件做好，只能接近客户，深入业务。不仅要和客户负责系统的人谈，还要和运维、业务场景、算法的人深入沟通，否则很难把软件做好。”
“想把软件做好哪有捷径可以走，国内AI芯片公司都在一个起跑线上，也都有互联网大厂的投资人，希姆计算能稍微跑的快一点，还是负责市场落地的人天天泡在客户办公室和工厂里磨出来的，但即便这样，也不能保证未来的成功。”王雷认为。
但AI芯片公司也不是轻轻松松就能获得与客户深入沟通的机会。一般的情况是，有需求的公司（比如BAT和移动运营商）会公开招标，AI芯片公司寻求合作，经过初步筛选之后，符合需求的AI芯片公司可以送测产品，在现场运行客户给的AI模型。
“很多公司连编译那一关都过不去。”王雷说，“即便能编译，不少公司声称算力是英伟达同级别产品的2倍，实际还不到其性能的1/4。”
张伟表示，“主要还是因为编译器做的不够好，通常都是依据芯片存算特征针对特定的模型手动做了优化，不具备泛化能力。所以在遇到客户特别‘变态’模型的时候，就会遇到困难，就算手动编译通过，性能也会受限。比如一般情况下，96*96尺寸的图片，可以顺利编译，吞吐性能还不错，但客户会根据自身业务需要对输入的图片尺寸进行调整，比如调整到1280*720，那性能就会受到大幅度影响，甚至编译不通过。更有甚者，模型结构都会发生诸如基础算子和逻辑的变化，那编译器的泛化能力是很难支撑直接跑起来的。”
这就是AI芯片编译器的另一个难点所在，由于客户的AI模型与其业务密切相关，涉及商业机密，因此并不会直接把模型给芯片公司，AI芯片公司很难提前做有针对性的优化。
但即便进展更快一点，昆仑芯也需要更多时间完善其软件栈。张伟了解的情况是，昆仑芯的AI芯片在搜索场景对比英伟达的产品有一倍多的性能优势，但在其它场景优势很小甚至没有优势。
“有听到昆仑芯的客户反馈离开了昆仑芯的人帮忙调试，芯片还是很难用起来。”陈俊说，“软件还是不够好用，所有AI芯片公司都还需要时间去打磨，这需要一个过程。”
这对所有云端AI芯片公司而言都是一个需要花非常多时间和精力的工作，在落地的过程中可能需要为客户开发数百项特性，这是在设计硬件和开发软件栈之初都无法完全明确的需求，甚至都意识不到用户会有哪些应用场景和需求。。
04
今年交卷，2024年开始淘汰
云端AI芯片公司们的落地竞赛已经开启。马超认为，AI芯片公司今年下半年是给投资人和市场交答卷的时候了，今年如果还不能上量落地，可能今年底明年初就会有公司开始收缩。
陈俊认为，云端推理AI芯片的格局明年会更加明朗。
王雷则认为，即便是融资几十亿的AI芯片公司，按照千人规模，人均百万的薪资计算，融资最多能撑到2024年，那时候就能看到真正裸泳的人。
想要在AI市场的竞争中不被淘汰，产品和选择一样重要。AI云端芯片公司们优先把目光投向了采购规模在亿美元级别头部互联网公司以及政府的项目。
张伟说：“政府的项目看起来需求很大，但实际比预想的需求小很多。”
“政府的项目看起来金额很大，芯片公司自己要承担的成本也很高，实际上利润不高。更重要的是，政府的AI项目不具备延续性和可复制性。”张超表示，“寒武纪近几年每年都有政府项目签单，如今的市值也不到300亿，这足以说明资本的态度。”
“那些一个项目没落地，估值快赶上寒武纪的公司，未来怎么持续发展？”多位AI芯片圈人士都质疑。
因此，当下检验一家云端AI芯片公司，无论是采用DSA（领域专用架构）还是GPGPU架构，能在互联网公司落地才是有硬实力的体现。
互联网公司对于AI芯片有严苛的性能和稳定性要求，能够在互联网公司的场景中落地，不仅证明了产品的可用性，也说明了其AI芯片落地的可复制性。
但也要看到，BAT的增长在放缓，AI算法的迭代速度也在变慢，AI芯片的前途虽然光明，但道路依旧曲折，特别是还有英伟达这个难以超越的*。
英伟达耗费十多年打造了以CUDA为基础的AI生态，有大量的合作伙伴共同优化软件和适配最新算法，有业内*的硬件团队不断迭代产品，客户也早已习惯英伟达的软件平台。“我们怎么可能用几年时间就赶超别人十几年的成功？梦都不敢这么做。”这是一位AI芯片创业公司CEO的心声。
“差距和难度确实存在，但许多人都只是为了赚快钱，先把公司做大，不好好打磨产品，赶着商业化，然后尽快上市变现，最后能留给中国半导体产业什么？”这是从业者留下的还没有答案的问题。
云端AI芯片公司确实存在挑战，但相信一定会有跑出来的公司，如果想和作者更深度讨论AI芯片的话题，可以添加作者微信BENSONEIT（注明来意），下一篇文章我们将讲一讲AI安防芯片的话题，欢迎从业者与作者讨论。
