“如果AGI实现了，它会危及人类安全吗？”
对于硅谷的AI独角兽而言，这并不是杞人忧天的笑谈，而是一个严肃的话题。
有多严肃？硅谷估值最高的三家AI独角兽——OpenAI、Anthropic、Inflection.ai，都把AI安全列入了公司章程。为了避免AI安全成为一句空洞的口号，它们通过改变公司的治理结构来实现这一点。
OpenAI原本是一家非营利性组织，对于AI技术的研发也是为了公共利益而非追逐财务回报。但是在2019年，OpenAI改变了初心——尽管它并不承认这一点——变成了一家营利性组织。对此，心有不甘的埃隆·马斯克正在与其对薄公堂，要求OpenAI给个交代。
跟非营利性组织不同，Anthropic与Inflection.ai用了另外一种方式。他们把自己注册为一种新的公司类型——公益公司（Public-benefit corporation，PBC），并把“用人工智能造福人类”写进了公司章程。
公益公司仍然是营利性公司，但是根据相关法律，公益公司的董事会不仅要追求股东的财务回报，还要追求更长远的公共利益，并且需要定期出具报告。如果不遵守这些要求，可能会引发股东诉讼。
Anthropic通过设计了一个创新性的治理架构——长期利益信托基金（The Long-Term Benefit Trust，LTBT），并发行一类特殊的T类股票来保障制度的执行（Inflection.ai暂未公布治理细节）。
这样一来，面对AI安全的威胁，世界上最*的AI公司分成了两个阵营——自称非营利性机构的OpenAI，与作为公益公司的Anthropic与Inflection.ai。
自从OpenAI发生宫斗事件以来，人们对于OpenAI能否保持非营利性的初心失去了信心。那么，公益公司会是更好的尝试吗？
至少，Anthropic正在给出一个比OpenAI更诚恳的示范。
1.OpenAI如何上演“一出好戏”
2023年3月，在OpenAI发布GPT-4并获得微软100亿美元加码投资之后，马斯克在X上表达了不满：“我很困惑，我捐赠了1亿美元的非营利组织，怎么变成了一个市值300亿美元的营利公司？”
今天，马斯克的不满已经从牢骚上升到了诉讼。
几乎没有人质疑OpenAI是目前世界上技术最强的AI公司。但是自从2023年11月CEO被罢免的人事风波之后，人们开始对OpenAI的公司治理能力表示怀疑。
OpenAI经历过一次复杂的公司架构改革。2015年成立时，OpenAI是一家非营利组织，使命是“确保数字智能（2018年改为AGI）造福全人类”，公司的运营资金来自于马斯克等人的捐款。
但是随着研究的推进，OpenAI发现人工智能系统除了需要算法创新，还需要使用最多的计算能力。根据OpenAI的估算，从2012年的AlexNet到2018年的AlphaGo Zero，计算量增加了30万倍。
2019年，为了更高效、快速地进行扩展，OpenAI决定提高筹集资金的能力，而这显然是无法通过非营利组织的方式“用爱发电”来实现的。OpenAI成立之初筹集资金的目标是10亿美元，但实际上只收到了1.305亿美元的捐款。
为此，OpenAI做出了一个“违背祖训”的决定，不再坚持自己是一家纯粹的非营利组织。
OpenAI创建了一个营利性子公司“OpenAI LP”，来筹集投资资金并以初创公司的股权吸引人才，大部分员工都被转移到该子公司工作。而原先的公司实体称之为“OpenAI Nonprofit”，保留公司的控制权。
为了保证OpenAI LP不是盲目追求利润，而是“使命至上”（确保创建和采用安全且有益的AGI），OpenAI设计了“利润的上限限制”——*轮投资者的回报上限为其投资的100倍，任何超出这个数额的回报都归原来的OpenAI Nonprofit实体所有。
在2019年OpenAI宣布成立营利性子公司不久，微软向其投资了10亿美元，获得49%的股权，并成为OpenAI的*云服务商。
尽管OpenAI一再强调，所有投资者与员工都签署协议，规定OpenAI LP对公司宪章的义务始终放在*位，即使以牺牲部分或全部财务股份为代价。但是，关于OpenAI违背初心，变成了一家由微软在背后操控、以利润为导向的公司的批评不绝于耳。
一些员工也因此离职，其中最知名的当属阿莫迪兄妹——达里奥·阿莫迪（Dario Amodei）与丹妮拉·阿莫迪（Daniela Amodei），两人在2021年从OpenAI离职，并创立了OpenAI*的竞争对手Anthropic。
为了向公众澄清公司的*使命仍然是构建对公众有益的AGI，OpenAI在2023年6月进一步披露了公司治理结构的细节。
首先，非营利组织OpenAI Nonprofit全资拥有并控制一个管理实体OpenAI GP LLC，该实体控制和管理营利性子公司。
其次，董事会仍然是非营利组织的董事会，每位董事必须履行其信托职责，来推进“安全、广泛受益的AGI”的使命。虽然营利性子公司被允许赚取和分配利润，但它必须遵守这一使命。非营利组织的主要受益者是人类，而不是OpenAI投资者。
第三，董事会保持多数独立性。独立董事不持有OpenAI股权，包括OpenAI CEO萨姆·奥尔特曼也不直接持股。他只在全职加入OpenAI之前，通过Y Combinator对OpenAI进行了小额投资。
第四，分配给包括微软在内的投资者和员工的利润受到限制。所有超出上限的剩余价值都将返还给非营利组织，以造福人类。
第五，董事会决定何时实现AGI。AGI指的是一个高度自治的系统，在*经济价值的工作中表现优于人类。此类系统不包括在与微软签订的IP许可和其他商业条款中，这些条款仅适用于AGI之前的技术。
OpenAI想要传递的思想是，“使命是目的，营利是手段”。按照原计划，这套看上去很复杂的治理架构能够让OpenAI兼顾长期的AGI使命与短期的经济回报。
OpenAI也预料到了两者之间潜在的冲突，因此规定只有不持有公司股份的董事会成员才有投票权，以此来避免公司做出“短视决策”。
在人事政变之前，OpenAI董事会有6名成员，包括三位员工萨姆·奥尔特曼、格雷格·布罗克曼、伊利亚·苏茨克维，以及三位外部独立董事。让人万万没有想到的是，奥尔特曼本人差一点就因为这套自己设计的机制被赶下台。伊利亚·苏茨克维联合外部董事以多数投票罢免了奥尔特曼CEO的职务。
不过，由于伊利亚很快倒戈转向奥尔特曼的阵营，在大股东微软与全体员工的压力下，董事会最终妥协，奥尔特曼回归。
这“一出好戏”加剧了人们对于OpenAI公司治理的怀疑，其“让AGI造福全人类”的使命是否只是一个堂而皇之的口号？
相比之下，由OpenAI前高管创立的Anthropic，在公司治理层面所付出的行动看上去要更加诚恳。
2.Anthropic的大型公司治理实验
Anthropic是比OpenAI更加关注AI安全的公司，并且采用了与OpenAI不同的方式。
Anthropic的两位创始人阿莫迪兄妹原本是OpenAI的核心员工。哥哥达里奥·阿莫迪担任OpenAI研究副总裁，负责掌管公司安全并带领团队研发GPT-2和GPT-3；妹妹丹妮拉·阿莫迪担任OpenAI安全政策副总裁。
2021年，兄妹两人对OpenAI发展方向产生分歧，于是离职创办了一家与OpenAI有不同价值观的AI公司——Anthropic，意思是“有人类有关的”。Anthropic的目标是构建一套可靠、可解释、可控的“以人类（利益）为中心”的AI系统。
2023年9月——在OpenAI公司详细公司治理架构的三个月后，Anthropic也对外公布了一种新的公司治理结构，颇有一种对垒的意味。
Anthropic的创新在于，它采用了一种“公益公司+长期利益信托基金”的治理方式。
首先，Anthropic是一家在特拉华州注册的公益公司，这是公司的基础。
公益公司是一种新的公司类型。不同于OpenAI非营利组织的“壳”，公益公司首先是一个营利公司，但是同时也要求股东平衡财务利润与公共利益。
2010年4月，马里兰州成为美国*个通过公益公司立法的州。截至2018年3月，36个州和华盛顿特区已通过立法，允许创建公益公司。
Anthropic与Inflection.ai都是公益公司。Anthropic公益目标是“为了人类的长期利益而负责任地开发和维护先进的人工智能”；Inflection.ai的公益目标是“开发利用人工智能的力量来改善人类福祉和生产力的产品和技术，同时尊重个人自由，为共同利益而努力，并确保我们的产品广泛造福于当代和子孙后代”。
但是，就像OpenAI需要面对且没有解决好的问题一样，如果股东的财务利益与公司的公共利益出现了冲突怎么办？董事会要站在哪一边？
为了解决这一潜在的矛盾，Anthropic设计了一种新的公司治理结构——长期利益信托基金。
Anthropic成立之初就成立了该机构，最早称为“长期利益委员会”，并在2021年写入了公司的A轮融资文件，但那时候只是一个雏形。经过两年的调整与法律完善，长期利益委员会演化为更成熟的长期利益信托基金。
长期利益信托基金是一个独立机构，目前由五位人工智能安全、国家安全、政策和社会企业方面具有背景和专业知识的受托人组成，受托人的职责就是免受Anthropic的经济利益影响，可以独立地平衡公众利益与股东利益。
Anthropic董事会在为期一年的搜索和面试过程中选择了这些初始受托人，以发现那些表现出深思熟虑、坚强品格以及对AI的风险、利益和对社会影响有深刻理解的个人。受托人任期一年，未来的受托人将由受托人的投票选举。
长期利益信托基金具体有什么权力？在2023年5月C轮融资结束时，Anthropic修改了公司章程，创建了一种新的股票类别（T类），由信托*持有。
T类股票授予信托选举和移除Anthropic董事会成员的权力——实际上创立了一种新的股东类型，这些权力将根据时间和资金的里程碑逐步实施。总的来说，信托基金将在4年内选举董事会的多数成员。同时，Anthropic创建了一个新的董事席位，将由C轮及其后的投资者选举，以确保投资者的观点在未来直接在董事会上得到代表。
Anthropic表示，长期利益信托是一项关于公司治理的大型社会实验，此前并没有任何参考案例，但这是经过深思熟虑来设计的。Anthropic称自己是“实证主义者”，想看看它是如何工作的。
为了防止这种设计被轻易推翻，Anthropic设计了一个修订过程，大多数调整将通过受托人和董事会的协议进行，或者受托人与其他股东的协议进行。
当然，信托基金的权力不是无限的。由于其实验性质，Anthropic还设计了一系列“保险丝”条款，如果足够大的股东多数同意，允许在没有受托人同意的情况下更改信托及其权力。
Anthropic为什么要这么做？
Anthropic认为，公司治理产生社会有益成果的能力很大程度上取决于非市场外部性（Non-market externalities，指在没有市场交易的情况下，一个经济主体的行为对另一个经济主体产生的间接影响）。非市场外部性的影响可以是正面的也可以是负面的，其中一方的行为影响了第三方的福利，而这种影响没有通过市场价格机制得到补偿或惩罚。
常见的正面外部性的例子是教育，个人接受教育不仅提高了自己的生产力，也提高了社会的整体知识水平和创新能力；常见的负面外部性的例子是污染，工厂排放的污染物可能对周围环境和居民的健康造成损害，而这些成本并没有在工厂的生产成本中体现出来。
Anthropic认为，人工智能将会创造前所未有的巨大外部性影响，从国家安全风险到大规模的经济破坏，从对人类的根本性威胁到对人类安全和健康的巨大利益。技术的发展如何迅猛，以至于约束其高外部性的法律和社会规范尚未跟上步伐。
Anthropic愿意做一个吃螃蟹的公司。
值得一提的是，Anthropic认为日常所做的大多数决策，公共利益与股东回报并不矛盾，通常是强烈协同的：建立有效的安全研究的能力取决于建立前沿模型，建立前沿模型的同时也会在商业成功上获得极大回报。
这种观点与OpenAI一致。国内像周鸿祎也表达过类似的观点：“不发展才是*的不安全。”
Anthropic表示长期利益信托基金不会介入这些日常决策，而是主要关注人类的长期利益以及极端事件。
3.谁是更好的治理方式？
OpenAI与Anthropic分别代表了估值*与第二的AI独角兽，有相似的使命、相似的理念、相似的人才与技术能力，但采取了不同的治理模式。
哪一种模式更好？
Anthropic的优点在于，通过公益公司相关法律的约束，来平衡股东与公众的利益，需要定期向所有者报告公司是如何促进其公共利益的。如果不遵守这些要求，可能会引发股东诉讼。
而且，Anthropic还通过长期利益信托基金以及发行T类股票的形式，来提供适当的经济利益，并赋予任命与解雇董事会成员的权力。
尽管也会存在很多问题，但这比OpenAI的治理模式更加具有实际意义。
OpenAI模式*的问题在于“信任”。奥尔特曼的回归核心在于他对OpenAI的发展功勋卓著且赢得了微软的支持与员工的民心，但本质上已经打破了之前设计的规则。
事实证明，尽管OpenAI董事会的独立董事有权作出他们认为的正确选择，但最终的结果是，投资人与CEO对OpenAI的发展方向有不可替代的发言权。
OpenAI的治理结构还需要进一步完善。2023年11月29日奥尔特曼回归公司时，OpenAI表示将“将加强OpenAI的治理结构，让所有利益相关者——用户、客户、员工、合作伙伴和社区成员——都能相信OpenAI将继续蓬勃发展”。
上周，OpenAI组建了新的董事会，除了奥尔特曼回归之外，还增加了三名女性独立董事，总人数从去年的6人扩展到8人。
同时，OpenAI继续强调了下一步的进展，聚焦在公司治理层面：
采用一套新的公司治理准则；
加强OpenAI的利益冲突政策；
创建举报热线，作为所有OpenAI员工和承包商的匿名举报资源；
创建额外的董事会委员会，包括专注于OpenAI核心使命的实施和推进的使命与战略委员会。
OpenAI可能会在未来某个时间点公布具体细节。
OpenAI会像Anthropic那样变成一家公益公司吗？还是继续在现有治理架构上做出更多的创新？
不论最终结果如何，这些世界一流的AI公司，正在尝试新的有关全人类利益的可能性。这是大众愿景看到的事情。
