查看原文
其他

只有开源才能拯救AI

The following article is from 腾讯云TVP Author 刘天栋

随着 AI 技术的蓬勃发展,大模型的开源化正成为人工智能领域的新潮流,但同时引发的伦理和安全风险也饱受大家关注,如何把握平衡其中的尺度成为开源的一大难题。我们又应该如何有效进行开源治理?未来将走向何方?今天,我们特邀了开源社联合创始人、腾讯云 TVP 刘天栋老师,他首先从 AI 智能体热点现象切入,而后过渡到开源面临的机遇与挑战,最后层层剖析 AI 开源的治理之道。


刘天栋.Ted,长期专注于参与国内外开源社区,目前包含:开源社联合创始人 | Apache 软件基金会正式会员、孵化器项目委员会成员和导师、社区发展委员会成员 | 腾讯云 TVP;以及开源相关企业或顾问咨询工作,如 BAIN & Company External Advisor。历任开源雨林社区顾问、腾讯云腾源会开源顾问、微软中国战略业务总监、微软开放技术公司及微软亚太研发集团首席技术布道师;甲骨文(中国)渠道及联盟总监、Linux 战略总监、大中华区中间件事业部总经理;Turbolinux亚太区副总裁等。

继机械化、电气化、信息化之后,我们迎来了第四次工业革命——智能化。在我看来,开源运动是第四次工业革命中最关键的思想元素之一,因为开源不仅大幅地改变了生产协作模式,同时也是颠覆式技术创新的催化剂。


对于第四次工业革命的核心大咖——人工智能来说,人工神经网络、机器学习、深度学习、大模型(LLMs)等的诞生,只是人类思想伟大征程的开端,我们根本无法预见奇点(singularity) 何时会到来,也无法清晰描绘人类未来生活的景象。我们对未来的设想,不是去考虑什么会改变,而是去考虑什么不会改变。



相较于科技不可预知的解放,我认为思想的解放更为关键,而开放和开源可能就是其中的一个解答。以下是我的观察与反思。



不久前,许多人工智能的场景还仅限于个人与机器的互动。然而,人类无穷的创造力很快地就更进一步打破了这个边界,进入了模拟的世界。


最近火爆的斯坦福开源 AI 智能体小镇,它是基于斯坦福论文《 Generative Agents: Interactive Simulacra of Human Behavior 》的发布,这种场景被AI Town 复现出来了。


值得观察的是 AI Town 里 25 位 AI 智能体(类人智能体,以下简称 Agent)之间的自主互动,例如其中一位女性发起的情人节晚宴为由头,接着发生的 Agent 之间自发性地对这个宴会的传播、计划、反应和想法以及他们的行为,可分成以下三类:

  • 信息传播:Agent 之间互相告知信息并使其在城镇中社交传播;

  • 关系记忆:记忆 Agent 之间过去的互动并稍后提及那些早期事件;

  • 协调:与其他 Agent 一起策划并参加情人节派对。


可以想象,未来我们将进一步模拟人们如何在工作中互动,例如,模拟银行的数字资产托管业务,甚至是航空指挥和控制中心的场景。


一方面,AI 智能体或许比人更为可靠,AI Town 的研究人员要求人类以角色扮演的方式,模仿他们观看到的 Agents 的行为和语言来回答采访问题;结果发现 Agents 产生的结果比人类参与者角色扮演的效果更可信。或许是人类远比 AI Agents 来得更为复杂和难以预测?


但与此同时,随着人工智能大模型正在逐渐被人类 “驯服”,也将带来风险可能在这个 AI Town 里,人类可以扮演 Agent 与其它 Agent 互动,也可以直接影响 Agent 的想法。因此产生了两个主要问题:首先,Agent 无法如实反映人类的情绪(如愤怒),这会影响模拟结果在现实世界的应用。其次,由于对模型驯服或优化的人为干涉,将可能带来伦理和风险问题。研究人员警告,将会存在形成不适当的 “准社会关系 (parasocial relationship)”、错误推论的影响、加剧与生成人工智能相关的现有风险,以及在设计过程中过度依赖 Generative Agents 等风险。例如我们通过上述在 AI Town 里模拟银行的数字资产托管业务,或是航空指挥和控制中心的业务被应用在真实生活里,将产生难以预知的风险。



近期华盛顿大学、港大等研究人员发布了类人智能体 Humanoid Agents,指出AI 逼真还原人类情感!会饿会孤独、会跑步,会发火 [1]等。在过去,智能体虽然可以完成看似可信的行动,但和真实人类思维方式并不像,绝大多数人类也并不会提前制定计划,然后在日常生活中一丝不苟地执行这些计划。为了解决智能体和人类思维差异问题,研究者从心理学和社会学中汲取了灵感,引进了快思考(系统 1)和慢思考(系统 2)的元素,以及马斯洛需求理论等,如图所示。


Humanoid Agents 引入了系统 1 所需的三个要素——基本需求(饱腹感、健康和能量)、情感和关系亲密程度,来让智能体表现得更像人类。然后利用系统 2 来规划对应的需求,如此智能体就能调整自己的日常活动,并和其他智能体的互动与对话。


新的研究令人兴奋,但是,上述的 “可能风险” 是否也将因而加速且加剧呢?有一个值得大家注意的关键点,社会大脑假说提出,人类的认知能力很大程度上是为了追踪社会关系的质量而进化的。那么这些 AI 智能体的认知能力也可能将随着 AI 智能体之间的社会关系而进化。

如果是自主地进化,人类将如何确保它不会失控?如果是受控的进化,那么由谁以及如何来控制呢?


● 生命游戏(自主进化)



很多人都知道或是体验过“康威生命游戏” [2]。只需要透过几个简单的规则设定,生命游戏可以递归创造出无穷巨大的结构,就像细胞组成组织,组织构成器官,器官形成系统,系统合成个体,个体组建社群,社群缔造社会,社会构成国家,以此类推无穷无尽。如今,几乎所有的计算机都是冯·诺伊曼构型,而生命游戏的运算方式更加接近生命活动的真实情况。神经网络活动在理论上也同样如此,在遥远的未来,我们很可能在这些围棋似的生命游戏之中,发现人工智能的真正钥匙。


试想一下,倘若这个 AI Town 或是 Humanoid Agents 像生命游戏一样,边界持续放大、算力持续增强、Agents 不断增加,那么将会产生什么样的演化?是否会像生命游戏一样地自主繁衍下一代,产生新的自我学习或新的类生命形态呢?


● 模拟理论/缸中大脑(受控的进化)


以伊隆.马斯克为代表的不少科学家和思想家,则相信我们生活的世界可能是一个由更先进的文明创造的模拟,如计算机模拟或 “缸中大脑”。听起来令人难以置信,对吗?然而,随着科技的进步,超级计算机或超级人工智能将极有可能创造出逼真模拟。人工智能体的最新发展使该理论更接近现实,可能会成为人工智能发展历史上关键的时刻。



前 Google DeepMind  创始人以及 Inflection AI 的创始人 Mustafa Suleyman 在他的 《The Coming Wave》书里认为:“我们很难控制 (contain) AI,但是我们一定要做到,否则就是人类被控制!”



● 26 号宇宙 or 终结者


一个知名的实验“25 号宇宙 (又称老鼠乌托邦)”,前 24 个老鼠乌托邦以及第 25 号宇宙都是以全员灭绝告终。这样的结果令人不寒而栗!如果将老鼠换成 AI Agents (Humanoid Agents),那么 AI Town 会变成 26 号宇宙 ,以全体员灭亡告终吗?



Mustafa Suleyman 认为 AI (结合其它科技,如量子电脑、材料科学、机器人、基因工程、生物和农业科技等) 将能大幅提升生产力,让能源、粮食、医疗、 制造等的成本趋近于零,并为未来的物资无限供应的零边际成本社会的可能性感到兴奋。因为人类将从无用的劳动中解放出来,进而发挥创意追求梦想。他在某种程度上赞成 OpenAI 创始人 Sam Altman 提出的全民基本收入 (Universal Basic Income - UBI) 的想法。


其实,除了骰子乐观的一面,还有几种薛定谔的猫的可能性:

➢ 如果人类在地球上饱食终日,无所事事,是否会变成 26 号宇宙自我消亡?

➢ 人类变成如 Elon Musk 所说的跨星际物种,殖民月球、火星或是飞出太阳系。是否会像迪斯尼电影 WALL.E 里太空船上无事无能的肥胖人类,在全能 AI 操控下的(26号)宇宙飞船中逐渐消亡?



➢ 或者人类在成为跨星际物种之前或之际,就因为逃不出历史轮回的自相残杀而自我终结?



➢ 或是被人工智能体化身的终结者(天网里的 Terminator)消灭了?



上述论述看起来一片晦暗,其实我是个坚信并践行开放与开源的乐观主义者。如引言所说:“我们对未来的设想,不是去考虑什么会改变,而是去考虑什么不会改变”。



不会改变的是宇宙的物理定律:只要是在一个不开放的环境里,无论是热力学第二定律适用的物理环境,25 号宇宙或是小到个人、家庭、公司、社会等,如果不保持开放的治理、状态和心态,那么由于熵增而趋于热寂的状况就必然发生。



薛定谔说:“生命以负熵为生”。负熵求生需要有外力来做功,要保持开放,还需要智能化。从人类的进化史来看,我们大概率不会因为智能化而怠惰,反而是与天斗、与人斗、与己斗,其乐无穷的例证无数。


人类正携手人工智能,透过彼此的外力做功和双向奔赴的智能化,共同为减熵找到出路。例如 AI 快速地飞入千行百业、千家万户为人类服务,而人类对 AI 能力进化的介入,如调优(Fine-tuning)与强化学习(RLHF)等努力,也从未停止。


因此,减熵里最关键的一步,即人工智能的开放与开源势在必行。否则,由少数人或寡头控制的封闭人工智能黑盒子,最终只会带领我们走向消亡与热寂。



作为通用人工智能(Aritificial General Intelligence)的代表——生成式人工智能(Generative AI)的颠覆式创新与突破带来了无限的机遇及想象空间,当然同时也带来了挑战甚至明显而即刻的危险。


当以大模型为代表的人工智能的能力,遇上开源,犹如干柴遇到烈火,立即成为彼此相辅相成的飞轮。Meta 大模型 Llama 2 的开源(开源界多认为 Llama 2 的开源加上了商用的限制,因此不纯粹),引爆了全球及中国人工智能的开源势头。同样的范式转移,我们已经在操作系统、云计算、大数据、区块链、IoT 等多个领域反复地见到。例如 Google 的安卓系统(Android)、TensorFlow,微软的 VS Code、Meta 的 Pytorch 等,都是透过开源成功地打造强大的开源生态体系的典范。


目前少数科技巨头公司试图以其财力抢占算力,霸占一代又一代科学家在神经网络、机器学习(深度学习等)、通用人工智能等领域,前仆后继地投入研究的成果。我们期盼这些科技巨头公司们能见贤思齐,学习伊隆·马斯克以其颠覆式科技创新加上生产流程创新的思维与努力,推动并践行开源,来打造自身的护城河,而非透过闭源及专利打造封闭的黑盒子,制造熵增、阻碍创新。否则这些目前的巨头,终将如凯文·凯利预测一样,必将会被新创公司和开源的浪潮所淹没。


强大的人工智能也带来了政治、社会、经济、科技、伦理道德方方面面的风险,例如操纵选举、散播假消息、利用 DeepFake 诈骗、歧视偏见、侵犯隐私、违反知识产权、伤害人权、安全合规漏洞等。


很多人担心一旦生成式 AI 开源之后,一个高中生或大学生在自家车库里,就有可能利用 AI 学习并制造出生物或化学等大杀伤力武器;一些美国大公司的人工智能驱动的招聘系统被暴露出对种族、性别、长相等的参数有歧视性的设定;还有利用几乎可以以假乱真的个人形象及语音被盗用、被仿造来进行诈骗等等。


可能很多人对 2007-2008 年在美国发生的次级贷款(简称次贷)风暴记忆犹新。它基本上是由华尔街少数极度聪明的一批人构筑了一种非常复杂,除了他们没有人能搞懂的金融衍生商品,亦即把一些信用等级不佳的房屋贷款包装成高利润的衍生产品,最后信用崩塌导致了雷曼兄弟的倒闭,以及随之而来全球的金融风暴。少数人、极其聪明、黑盒子算法,听起来是否很熟悉吗?未来的次脑风暴会不会也在逐渐形成呢?这不禁引人深思。


但也无需太过悲观,在我看来,人工智能开源的治理有以下切入点:


● 精英治理


全球许多有识之士认为开源是人类生产关系创新以及技术创新,透过开放式协作共赢的最佳手段。 政府、企业、科研机构以及开源社区携手合作,采取任人唯贤、精英治理(Meritocracy)的模式,建立一个专业、可信而跨领域的中立咨询机构,博采周咨并快速更新迭代出一套《人工智能法案》(欧盟花了四年多时间精心打磨,值得参考),并将开源纳为核心基础理念。国内最近出台的《生成式人工智能服务管理暂行办法》是一个尝试的开始。


● 定义人工智能开源


Mustafa Suleyman 认为西方世界不需要恶意地假设中国会试图利用高科技,例如人工智能、生物科技等,来伤害人类。他希望西方发达国家集团即刻展开控管人工智能的发展方向,并且也包容中国加入全球协作。



国际开源社区长久以来拥护认同的 “OSI 开源定义十条”,也应该适用于尚在全球范围讨论的 “人工智能开源定义”。除了软件之外,人工智能开源应该彻底开源大模型、框架、算法、参数、微调权重以及脱敏之后的数据集。


全球开源界的专家们普遍认为,开源许可证(包含人工智能的开源)里应该只专注于商标、知识产权、再分发限制之类的条款,没有必要考虑囊括伦理道德等可能造成歧视的条款,这些应该由法律来规范。


相关法律在究责时,应该专注于到达终端用户手中的最终制品,如 App,自动驾驶汽车,儿童玩具等,以及数据的隐私与安全合规。而非去究责作为原料、工具或是半成品的开源项目。举个例子,如果你用铁块和木条等原料组成了一个工具锤。如果有人用了这个工具锤伤害了人,那么法律应该去追究提供铁块与木条的原料厂商,还是制成工具锤的制造商吗?


只有专注于监管最终制品所产生的结果而非过程,那么创新将不受影响,监管的成本与难度将大幅下降,从而提升效率,因为开放协作的开源社区里将会有无数的眼睛在协助监管。


● 与国际接轨


另外,全球多家开源基金会和组织也已经展开了协作,希望能影响欧美政策制定者在人工智能和安全合规上,借由开源助力制定新的人工智能与网络安全合规的政策与法令。同时,开放源代码促进会(Open Source Initiative)正与 Linux 基金会以及其它诸多开源基金会和组织,携手推动定义新一代的开源人工智能的定义(Defining Open Source AI)以及相关的许可证。开源社也参与到了全球开源基金会和组织互动讨论的环节。只有推动或鼓励上述中立机构以及开源社区,迅速与国际开源基金会和组织紧密互动,才能合力影响欧美发达国家的政策制定者。



● 用魔法打败魔法


由上述中立机构或是科研组织,发展出一套人工智能对抗机制,深入研究、挖掘与模拟最坏状况与场景,例如散播假消息、利用 DeepFake 诈骗、歧视偏见、侵犯隐私、违反知识产权、伤害人权、安全合规漏洞等;亦即利用人工智能魔法打败人工智能邪法。


《礼记 · 礼运大同篇》曾言:“大道之行也,天下为公。... 是谓大同。”


在当前,开源运动需要更好地与社会主义市场经济融合,让个人的能力与潜力充分发挥,从而形成新时代的铁三角。我们可以从开源被列入“十四五”规划纲要里,为数字经济提供基础养料便可看出国家的高瞻远瞩和剑及履及。


当封闭与围堵的逆流不断蔓延,我们需要拥抱开放与开源,携手志同道合的全球有识之士与组织,共同塑造新一代人类命运共同体。天下为公才是人类以及人工智能真正的出路。


延伸阅读:

1. AI 逼真还原人类情感!会饿会孤独、会跑步,会发火

2. “康威生命游戏”

https://sourl.cn/HgswEU

3. AI Town 

https://www.convex.dev/ai-town

4. 互动演示:

https://reverie.herokuapp.com/arXiv_Demo/

5.《The Coming Wave》

https://www.the-coming-wave.com/

6. 25号宇宙

https://xueqiu.com/7175833412/107345454

7.《欧美的 AI 法状态度》https://docs.qq.com/doc/DZUZMZ1lwa2xsT1hx

8. 开源是打破内卷的最好方式

9. Meta 的 LLaMa 2 许可证并非开源许可证

10. 拯救开源:《网络韧性法案》即将带来的悲剧

11. ASF 法律委员会发布贡献者生成式 AI 指南

12. ASF 生成式工具指南

13. 日内瓦开源高峰会

14. 百模大战方酣,AI 开源亮剑

15. AI 开源许可证的法律与伦理之博弈

16. 探索 AI+开源的未来:Open Source Congress@日内瓦

17. 礼记·礼运大同篇https://baike.baidu.com/item/%E7%A4%BC%E8%BF%90%E5%A4%A7%E5%90%8C%E7%AF%87/1209270


转载自 | 腾讯云TVP

编辑 | 罗蕊艳


相关阅读 | Related Reading


中国开源年度报告.问卷篇第二轮抽奖来袭!

【KCC@上海】COSCon 的台前幕后



开源社简介

开源社(英文名称为“KAIYUANSHE”)成立于 2014 年,是由志愿贡献于开源事业的个人志愿者,依 “贡献、共识、共治” 原则所组成的开源社区。开源社始终维持 “厂商中立、公益、非营利” 的理念,以 “立足中国、贡献全球,推动开源成为新时代的生活方式” 为愿景,以 “开源治理、国际接轨、社区发展、项目孵化” 为使命,旨在共创健康可持续发展的开源生态体系。


开源社积极与支持开源的社区、高校、企业以及政府相关单位紧密合作,同时也是全球开源协议认证组织 - OSI 在中国的首个成员。


自2016年起连续举办中国开源年会(COSCon),持续发布《中国开源年度报告》,联合发起了“中国开源先锋榜”、“中国开源码力榜”等,在海内外产生了广泛的影响力。




继续滑动看下一个

只有开源才能拯救AI

向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存