中文版推荐书评一
偏见的结构与人工智能专政 对关注人工智能进展的人士而言,卡夫卡笔下的绝望困境,象征着一种反乌托邦式的恶梦。在卡夫卡的经典小说《审判》中有一则寓言《法律之前》(Before the Law),讲述一名乡巴佬试图上法院寻求救济,到了门口却被警卫阻挡的故事。警卫说:「法律的大门为人人敞开,不是不给进,但不是现在。」乡巴佬只好坐在警卫给的小板凳上,既不愤怒,也不打算伤害警卫,而是继续在门前等待,到死为止。在他嚥气前,乡巴佬问警卫:「人人都想在法律之前讨个公道,为什么这么多年来我一个影子都没见到?」警卫说:「你眼前这扇门,是特别为你准备的,而我现在要将它永远关上。」
《审判》的男主角「K」在听完这则寓言后,认为整件事就是一场用谎言罗织而成的体制化骗局。卡夫卡式法庭不在乎客观世界中的真实,而仅在乎维持体系的持续运作。法律的大门理论上向社会敞开,但在卡夫卡的世界里,人人有机会,个个没把握。整个体系不是在追求真理正义,而是在为维护体制的充分与必要条件服务。当偏见已经根深柢固,只要身在其中,就被推定有罪,取证、诘问、辩论等程序,只是过场套路。恪忠职守的各级官僚不用为受害者负责,更无需内疚自责。因为他们都像那位低阶警卫一样,只是尽看门的本分而已。藏在森严大门之后的法官,是至高无上的绝对权威。整个法律体系彷彿一只神秘的黑盒子,没人敢质疑这套威权体制的运作逻辑,也无法明白黑箱作业的各种技巧。人类知道自己身处黑箱之中,却不知道黑箱的边界,只能战战兢兢苟活。一但违规,只能逆来顺受,服从安排。
在此,请各位想像这个黑箱不是由卡夫卡式的法官、律师与警卫把持,而是由各种人工智能及大数据演算法操纵。这些用机器语言写成的软体程式码,与用人类语言写成的法律条文一样,都不可避免地受到创造者的主观愿望与价值取向影响──一种偏见的结构。偏见会随时间沖刷被体制化,逐渐取得了可被称为「习惯」、「法律」、「民情」等「正统」地位。这个自然演进的过程,在前互联网时代,可能是渐变。在互联网席卷全球、快速迭代的世界,就是不断生灭的剧变。
随着社会经济生活演化愈趋复杂多样,「法律」作为一种规范的上位概念,其内涵与核心价值也必须与时俱进。当掌控资源的新贵们愈发信奉数理逻辑,而非义理人情,有能力利用人类与机器语言「造法」的行为体,若不受制衡,又无法自我警惕,比卡夫卡世界更冷酷无情的人工智能专政就可能随时降临,所有捍卫自由、民主与人权的努力,在铺天盖地的技术进逼之下,将毫无招架之力。制度杀人,莫此为甚。
「被AI专政」的世界是否已经降临?曾在纽约对沖基金德劭集团(D. E. Shaw Group)任职的数据科学家、知名部落格「mathbabe」博主,亦是本书作者凯西.欧尼尔(Cathy O’Neil)认为,非常可能。
在哈佛大学主修代数数论并取得数学博士学位的凯西,自幼热爱数学,在获得纽约哥伦比亚大学巴纳德学院的教职之后,却毅然决定到德劭担任量化分析师,透过研究各种数理统计模型与数据分析,在全球资本市场中找寻可持续获利的交易与投资策略。她与同事所做的工作成果,可以驱动数以兆计的资金在全球市场快速流动,创造鉅额财富。2008年全球金融海啸,让她顿觉幻灭:非关道德的数理模型成为华尔街鍊金术士口中的神奇公式,由资产证券化工厂制造出来的金融衍生商品,催生了庞大的房地产信贷泡沫,将金融体系中的槓桿推升到难以为继的程度,加剧了金融危机的连锁反应,甚至差一点摧毁全球经济。
更让她惊讶的是,金融危机爆发后,新的数据分析技术被应用至更多领域。透过日夜不停地爬梳蒐集自社群媒体、电子商务网站及各类互联网平台的海量数据,原本用来套利套汇套差价的演算法被用以研究人类的七情六慾、预测消费口味及监控信用风险,计算个人是否值得受高等教育、获得工作面试、购买医疗保险、甚至恋爱与犯罪的机率。系统工程师们或许出于好意,企图客观地找出更有效率的方式解决问题。但很多模型仍然将偏见、误解和私心纳入了演算法,而人类的生活愈来愈受这些系统管控。在数理逻辑至上的世界中,数学定律有绝对权威,数学家、电脑科学家与系统工程师彷彿神坛祭司,透过不透明的卡夫卡式黑箱,对芸芸众生的未来作出神意的裁决。其决定即使是错误或有害,也不容质疑或申诉。
但这类数理模型之所以有商业价值,是因为它们一开始都是被设计用来自动化批量处理信息的特定程式。很多模型源自于数学、化学与物理学等无机领域,而非生物学、心理学、政治经济社会学等有机领域。在应用与诠释上一旦出现偏差,将加剧社会两极分化,让富者愈富、贫者愈贫,歧视与偏见在演算法的回馈路径中被保存、复制、放大,可能出现反人性的严重后果。民营企业若将这类程式视为商业机密,不公开揭露演算法内部细节与诱因机制,往往让数学公式成为卸责与扩权的借口,并利用资讯科技创造出问题正在被解决的幻象,收割政治与商业利益。
在最极端的情境下,我们完全可以想像这些程式成为用数学构建的「袋鼠法庭」(kangaroo court),透过各类物联网监控技术与不透明的演算法「优化」资源分配,甚至可能在分子生物学的层次对人类进行分类、排序与缺席审判。这些源自人性黑暗面的大数据与人工智能,如果不受监管,有可能撕裂社会,甚至让人类文明崩溃。但监管的标准该如何制定?谁来负责监管?如果监管者跟不上时代,甚至不可信赖,人类又该如何在AI专政的虚拟实境中维持人性尊严?
如果「程式即法律」(Code is Law),那么「法律也是一种计算」(Law is Computation);诸如伦理、道德、义理人情等难以量化的概念,其实是环境的一部分。针对「智能行为体」的规范,不论该行为体是程式、个人或企业,都必须充分考虑行为体之间的博弈、竞争、演化,以及所有基于人性的行为体必然会出现的认知谬误与系统内禀的统计偏差,并设计出对应的救济与争端解决机制。这份工作,人类责无旁贷。
更深一层看,何谓智能?笛卡儿曾说:「我思,故我在」,但抽象思维是否为证明高等智能存在的充份且必要条件?如何为智能分等级?用智能方法自动做出的选择是否应该具有最终的法律效力?若把整个互联网科技的发展视为人类加速己身演化的努力成果,那么利用智能技术来鑑别、筛选、拔擢人才的尝试,是否意味着类似于智人演化出大脑新皮质之后,将尼安德塔人抛弃在演化的历史断裂点,将在互联网的下一阶段发生,定义出新旧人类之间不可跨越的鸿沟?
因为互联网科技跨境的特质,这类议题本质上是全球性的,需要全球范围的沟通、协调与合作。本书的原文版书名取名自Weapons of Mass Destruction(大规模毁灭性武器)谐音的Weapons of Math Destruction(数学毁灭性武器),是否也需要一份「核不扩散条约」?面对益发混乱的国际局势与现实主义地缘政治的回归,霸权级资讯大国与互联网巨头竞逐全球市场的斗争,让透过全球网络的「人工智能治理」(AI governance)成为一场不断进行中的革命,构成对人类巨大的挑战。
日本中央银行总裁黑田东彦曾在一场人工智能与金融前沿研讨会上说,面对新科技对社会经济所造成的深层变革,政策制定者不应该过度忧心新科技的负面作用,而不去关注其正面效益。人类与AI应该互补,不能也不该对抗。人类的判断往往受既有典范影响,有时对变化觉察不足,而这正是AI的强项,可以透过客观地调整那些因为主观偏见所忽视的数据关连性与新趋势。另一方面,直觉、常识与想像力,是目前人工智能最大的弱点。人类真正应该担忧被AI取代的时候,是人类放弃独立正面思考的时候。
正如在17世纪创造计算机的法国哲学家巴斯卡(Blaise Pascal)在《沉思录》中所言:面对强大有力的宇宙,人是一根会思考的芦苇。即使柔弱如芦苇,仍可秉持高贵。希望难以量化,前途不可限量。命运没有基因,梦想没有极限。
在经典科幻电影《2001太空漫游》中的「HAL」(该片中一台具有个性与思考能力 、甚至会「失控」的超级电脑)出现前,也许人类应该少担心些数据,让梦想与命运驱使我们继续航向未知的远方。
胡一天(源铂资本创办人暨执行长,源铂情报总编辑,《风传媒》专栏作家)
中文版推荐书评二
欢迎来到第六病房! 「昨晚我读完了这本书,感觉莫名惊悚恐怖,好像自己也被关进了第六病房!」这是列宁对俄国知名小说家契诃夫〈第六病房〉(Ward No.6)的读后感想,同样地这股莫名恐惧惊悚也适用于本书。
〈第六病房〉这部被称为「俄国文学中最惊悚的小说」故事内容大致描写,发生于俄国某一个城镇的小型医院里,「第六病房」是一个专门禁锢精神病患的特殊病房,它由一位粗暴的退伍老兵负责看管,或说是由他负责统治,其中关键性的病人格罗莫夫患有严重的被迫害妄想症,尽管他出身良好并且曾经担任过地方法院书记,然而,格罗莫夫脾气暴躁且言辞尖锐。在某一个忧郁的秋天早晨,他目睹了两名被戴镣铐的犯人由士兵押进监狱,于是他开始妄想自己也可能随时被捕,终日陷入惊恐泥淖,最终也因忧心被误认为是命案凶手而正式发疯,结果被送进了「第六病房」。另一方面,「第六病房」的主治医生叶菲梅奇,为人谦和有礼,处世不争,在他偶尔巡视这个被人遗弃的「第六病房」时,被这位激愤莫名有底蕴有意思的病人所吸引,一方面医生同情他的处境,另一方面他更常巡视病房找他聊天,这个异常的举动,立即引起全城的议论与猜疑,很快地人们也传出叶菲梅奇医生发疯了的流言。果不出其然,叶菲梅奇医生最终也被诱骗进入「第六病房」,被当成精神病患禁锢起来,尽管医生愤怒抗议却也遭到老兵毒打,很快地医生因绝望而在病房内死去。如果说,契诃夫的〈第六病房〉是在影射控诉当时俄国沙皇统治下的极权残暴,它不也同时揭示社会体制的冷漠执行者,最终也惨死在最初由自己设计管理的病房中。
事实上,我和大多数人一样,在阅读《大数据的傲慢与偏见》这本书之前,对于大数据如何主导世界及其如何的丑恶毫无概念。本书作者凯西.欧尼尔是一位知名的数据科学家,她取得哈佛大学数学博士学位,并曾任教于隶属于哥伦比亚大学的巴纳德数学系,随后投身于华尔街的对沖基金公司,在离开金融业之后,更担任多家新创企业的数据科学家,负责建构消费行为的预测模型,由于这样的经历体验,在一次彻底崩毁的金融事件之后,让她彻底地体悟到,虽然数学曾经是她热爱的真理,但是包括次级房贷危机、金融机构破产、失业人口扩增等系列问题背后,竟然都与数学模型脱离不了关系,华丽极美的数学模型就像是共犯,它不只深深地卷入真实世界问题,它还更深化了许多问题困境。
尤其当严重缺陷的数学模型再结合现代科技,上述混乱与不幸更是以倍数规模成长。作者提醒我们,如果能够立即直面数学可能遭到的误用与滥用,或许我们可能防患未来发生更大的灾难。只是事实刚好恰恰相反,更新的数学技术应用与影响范围更广,尽管多数的模型可能都是出于好意,但是许多模型也将人的偏见和误解纳入系统之中。于是数学模型变成神祇一样,既不透明也不受控管,或说只有少数的数学家和电脑科学家才能决定。因此,她怀抱着对于社会正义的热情,利用自己专擅的数学揭穿大数据美好的假象,她控诉现代生活中无所不在的数学模型如何撕裂我们的社会!数学演算法如何影响我们的生活决策,她在书中揭举了许多案例,包括学校的教学评鑑、职场的履历筛选、金融贷款的审核、员工绩效的评估、目标选民的锁定、身体健康的监测、以及假释名单如何决定等等,再再显示影响范畴不只是个体,还包括国家与社会的总体未来。
诚如作者所言,理论上数学模型应该是一种公平的机制,因为所有人都是基于相同的规则,数学模型不容易受到偏见的影响。然而事实刚好相反,数学家借由大数据以免分析结果遭到例外或异常扭曲,结果反而因此惩罚了那些刚好属于例外情况的人们。因此,这些数学模型可能还会更深化社会的歧视与不平等,例如,贫穷的学生可能更无法获得就学贷款协助,难以脱贫的教育系统于是成为一种恶性循环,作者将这种奖励优势并惩罚弱势的模型称为「数学毁灭性武器」(Weapons of Math Destruction),它的英文缩写WMDs正好与大规模毁灭性武器的缩写相同,由于这些数学模型会界定自己的事实,并利用这些事实替自己产生的结果辩解。这些数学模型产生的结论,有如神祇一样发出命令,它不听人讲话,也不会屈服,更不理会人们的逢迎、威胁或诱骗。它还会自我强化延续,进而产生更大且普遍的危害。总的来说,尽管本书不乏用黑色幽默的方式叙述,让人读来轻松有趣,不过读后却更让人感到害怕不安。
最后让我们再次回想,〈第六病房〉里医生叶菲梅奇与病人格罗莫夫之间的对话,格罗莫夫最初对于医生的劝诫给予暴怒回应:「我知道上帝用热血创造了人类,人的机体组织若是有生命,必然对于一切刺激有反应,我用怒吼与泪水回应痛苦,这才叫作生活!」叶菲梅奇医生则是优雅以对:「尽管我们长期被关在铁窗里受尽折磨,不过这样也好,因为这个病房与舒适的书房之间并无差异,这是多么惬意的哲学!」格罗莫夫冷冷回应:「没关系,您藐视了痛苦,不过当您的手指也被房门夹了一下,我想您恐怕也会扯开嗓门大叫!」不幸地是,叶菲梅奇医生最终果然「手指也被房门夹了一下」并且被顺利地诱骗关进「第六病房」,医生很快地陷入绝望恐惧最后死亡。
生活在现代的社会里,完全不被数学模型监控几乎是不可能,这是一种最安静的恐怖主义。然而,数学模型真的是我们生存世界的绝对真理?当我们盲目地将自己交付给它并且据此生存,是否有可能我们所拥抱的真理,只是让我们的世界变得更加荒谬扭曲,一个错误的数学模型或许还不如没有模型。无论如何,世界的意义不应该是一个被数学模型计画好的秘密,不幸地,如果真是如此,欢迎您来到大数据下的第六病房!
陈智凯(国立台北教育大学文化创意产业经营学系所教授)