character-comparisons-and-battles
从灰烬中崛起:心理危机中人类机器冲突的余波
Table of Contents
科学研究(Pycho-Pass)是2012年首次播出的标志性网络流行动画,由Production I.G制作,故事由玄武渊源制作。该系列想象了22世纪的日本,一个庞大的生物测定扫描仪和心理测定分析网络,称为系统[——治理生命的方方面面。 公民们不断受到监视,他们的情绪和心理状态被降低到数字 犯罪效率。那些读数超过某一阈值的人被系统执行者扣留,或者在极端情况下,在实际犯罪发生之前被系统执行者消灭。 叙述的演绎法是一种令人抓狂,但其真正力量在于当系统被认为不可行时爆发的人体机器冲突之后,这种冲突的后果和道德判断力继续反响远超过屏幕,提供了一种预兆透视力,通过这种技术来检查我们的加速监视器和道德判断,即外包。
锡比尔系统:技术利维坦
与单一超级计算机或单一程序不同,Sybil后来被揭示为由数百个无症状的人类大脑组成的集体意识。 这一怪异的曲折突出了系列的中心主题:即使是一个所谓的完美机器也必须最终与人类本性混乱、不合理的现实抗衡。 系统为每个人分配了一个[]的Psycho-Pass[——衡量其潜在的犯罪——并强制执行一个的预防正义理论。 这些被标为潜伏罪犯的罪犯往往在他们犯下任何非法行为之前就被公安局的检查员和执行者逮捕或致命地中和。
犯罪协同和先发制人的司法
犯罪协同 犯罪协同 是整个阻滞器的动力。这是生物鉴别读数——心率、瞳孔扩张、声压模式和脑波活动——得出的指数,它量化了一个人触犯法律的倾向。如果数字跨越了法律定义的危险区,那么实地官员部署的支配武器自动决定适当的反应:非致命性瘫痪器或致命的消除器。没有审判、没有律师和上诉。系统的效率除了消除传统的暴力犯罪之外,还完全没有司法概念。社会已经将人类判断的不完善过程用于一种被静态化的即时判断。结果就是今天犯罪学家在研究时警告的寒冷肖像ComPAS的重复评估工具,它已被显示在客观的敌人下暴露了种族和社会经济偏见[PROT:4]。[PORT:
客观道德的幻想
瑟比尔的权威在于它公正、数据驱动,因此在道德上优于可谬误的人。 这种信念通过宣传、社会调节和统治者的真正威胁而得到积极的维持。 然而,这一系列揭示了这种技术专制主义的核心:道德不能被降低为一套可量化的投入。 瑟比尔系统通过剥夺人们的同情、考虑和了解能力,不仅使那些被它评判的人失去人性,而且剥夺了社会对道德推理的共同责任。 冲突的后果揭示了这种放弃是多么危险。 当系统本身被证明是不可谬误的,能够同时是虚假的正反派和蓄意操纵的,人民就失去了应对启示的道德词汇或体制框架。 幻觉的破裂,社会契约也随之而来。
人类-机器冲突:反抗算术统治的叛乱
人机冲突在 Psycho-Pass中并不是一场简单的肉肉类对钢战争。 这场战斗是通过其人物行为展开的哲学战斗,每个人物代表着对道德体系化的不同反应。 探长阿卡内·鹤森试图调和她维护法律的责任与她日益认识到法律的不人道性。 执行者神谷浩美完全缺陷,因为个人追求报复,而系统剥夺了他的权利。 而对立派Shogo Makishima,对Sybil的心理测量扫描独有免疫力,成为了一个试图通过揭露其矛盾来摧毁体系的恐怖分子哲学家。 通过这些数字,叙述者们质疑一个剥夺个人道德选择权的制度是否能够真正公正。
机构代理人的关键字符
亚卡内·津莫里(Akane Tsunemori)的圆弧性可以说是最有启发性的。 她一开始是一个模范公民,其犯罪效率一直清晰,证明她内部化的遵守。 然而,当她亲眼目睹了体系的残酷时,她并没有放弃它;相反,她留在机构内部,努力从内部改革。 她的决定反映了一种深刻的人文主义立场:法律不是不可接触的神,而是当法律变得不公正时能够而且必须重塑的人类文物。 相比之下,Kogami体现了对这个可能性的否定。 他认为Sybil是无可挽回的腐败,选择个人复仇,而不是在曾经定义他的社会之外生活。 Makishima是第三个极激进的解放主义者,认为真正的自由只能存在于所有控制系统的抹除,即使这意味着制造混乱。 这三个观点共同描绘出对算法治理的抵制,以及冲突的后果都显示了每一个因素如何给世界留下了印记。
哲学碰撞:定心论对自由意志
整个冲突背后是一个深刻的哲学问题:如果机器能够以接近完美的准确性预测你的未来行为,你是否仍然拥有自由意志?Sybil系统在人类心理学的决定性模型上有效运作,假设潜在的犯罪倾向可以被识别,个人没有偏离这一轨迹的有意义的能力。这回响了古老的关于[ 预测 和 compatibilism [ 的争论,但当代的曲折:在现实世界预测维持治安和判决算法中,同样的预设被编码为决定人们命运的软件。研究证明,预测工具不仅能预测犯罪——它们创造了反馈循环,加强了它们声称的衡量模式 预测维持治安的算法偏差分析 人机冲突的后果 ,[FLT: 如何理解未来逻辑, 如何将一个戏剧化为人们所遗忘的假设。
后宫:一个寻找灵魂的社团
系列及其随后的电影的高潮——包括 系统的新人三部曲和 心理学-Pass 3——描绘一个试图把自己拼凑在一起的世界的复杂图景. Sybil不是被暴露为一个完美无瑕的神,而是一个自觉的、错误的、开始承认自身局限性的实体. 后果对任何一方来说都不是干净的胜利,而是人类机构和技术监督之间混乱的、持续的谈判. 几个关键转变决定了这一时期。
机构评估和改革
最为引人注目的发展是,系统决定允许一定程度的人的监督。 Sybil将Akane Tsunemori带入其最内层的圈子 — — 不是作为无助的组成部分,而是作为具有反对能力的平等的参与者。 这一象征性的变化标志着从绝对算法权威转向更合作的模式。 尽管改革的结构仍然十分不完善,但承认任何系统都无法在道德上自给自足。 外部审计、不同意见和保留人文审查现在都被公认为是基本保障。 这反映了当代要求高调的AI决策中 人文-在世 的任务,从自主武器到司法判决。
新社会运动的兴起
在基层,普通公民开始恢复他们的自治。 在冲突期间逃离城市的潜在罪犯的地下社区形成了自己的自治飞地。 这些团体完全拒绝Sybil体系的道德计算,而是选择了自愿的公理。 这套系列并不使这些定居点浪漫化 — — 他们充满了自己的危险 — — 但它们代表了全景的切实替代方案。它们表明即使在一个完全监视的世界中,人类的复原力也能创造出真正的自由空间。 中国的社会信用实验和其他形式的算法治理扩张,这种对抵抗的虚构表述提供了宝贵的想象力资源。
技术问责和共同妥协
后果还提出了技术问责的概念,作为中心政治问题。 公共安全局进行了重组,建立了新的监督机制以防止滥用统治者权力。 最重要的是,Sybil系统本身开始将其自身的不透明视为一种责任而不是力量。它开始为它的决定辩护,至少是为了选择人类操作者。 向解释性转变,体现了欧盟《数据保护总条例》中的原则,其中包括对自动决定的解释权。 虽然该系列从未完全解决安全和透明度之间的紧张关系,但它确实表明,未来治理必须包含动态平衡,而不是盲目服从黑盒推理。
现实世界的反思:从心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理-心理
”的持久相关性在于它与当前技术趋势的近似性。 在全球,政府和公司正在部署在结构和道德方面都与Sybil框架相呼应的系统。 预知性治安算法、公共空间的情感识别软件和社会信用评分机制都基于同样的基本假设,即行为可以量化、预测和先发制人地管理。 系列中人机冲突的后果对那些建立这些现实世界系统的人来说是一个严谨的警告性叙事。
算术比喻与人类成本
社会上最清醒的教训之一,就是从]Psycho-Pass[和实际刑事司法技术中吸取的教训是逻辑偏差问题。Sybil系统的犯罪系数长期以来一直被民众视为纯粹的客观目标。只有出现漏洞时,社会才意识到该系统一直在作出极有缺陷的判断,即基于创伤、精神疾病甚至简单的异议引发的压力反应而针对人们。现实世界的工具也表现出同样的倾向。COMPAS惯犯算法将黑人被告定为高风险,其比例几乎是白人被告的两倍。 这些错误并不是错的;它们是已经将结构不平等化编码为数据的培训机器学习模型的可预测结果。没有严格的审计和对公平的承诺,算法系统就扩大了他们声称要消除的极不公正。
监视资本主义和侵犯隐私
除了执法,Psycho-Pass还预示学者Shoshana Zuboff所称的[]监视资本主义的兴起。Sybil系统不仅监测犯罪,而且收集并编码了整个人口的心理数据。每一次情绪,每一次闪烁的怀疑,都会成为经济和政治秩序的原材料。今天,我们的数字足迹同样被挖掘出来,以预测和操纵行为,往往没有有意义的同意。系列的结局凸显出真正的恢复不仅需要体制改革,而且还需要文化上重申隐私是一项基本权利。 当冲突后世界的公民开始加密自己的生物特征并形成非网络社区时,他们正在从事一种行为,它与现代关于数据收集的局限性和退出普遍监测的权利的辩论有着深刻的共鸣。
持久教训和道德要求
从Psycho-Pass的叙述弧中,我们可以提炼出设计和治理现实世界AI和监测系统的若干必要因素。 这些教训不仅仅是智力练习,而是已经形成的未来的生存策略。
关键监督的必要性
亚卡内·津森的旅程告诉我们,盲目服从自动化权威是暴行的秘诀。 无论多么先进,系统都必须受到持续和独立的监督。 监督必须被赋予权力,以阻止行动,要求透明,并为被困在机器中的个人辩护。 无论以算术审计委员会[ 、 监察长或公民审查小组的形式,原则都是一样的:人类必须保留影响人类生活的决定的最终责任。 放弃这一责任就是让一个下沉者进入Sybil最终必须承认的道德真空。
在自动化系统中维护人类判断
系列中反复出现的动机是统治者即时判断与人类自由裁量权的道德力量之间的矛盾。 系列最终与后者是对立的,即使它承认人类判断有缺陷。 答案不是放弃技术,而是设计支持而不是取代道德推理的界面。 在从医学到刑事司法的各个领域,研究表明当算法被作为审议工具而不是最终仲裁工具时,结果会改善,决策者仍然参与其工作的道德层面。 斯坦福百科全书关于人工智能道德的条目 提供了如何构建这种框架的出色概览。
以道德为核心设计技术
也许,Psycho-Pass最深刻的遗产是它要求我们把伦理学融入技术设计的最初阶段。 Sybil系统是为了解决一个问题——一个完全安全的社会的愿望 — 而建立的,而从未质疑这种愿望本身是否是病态的。 今天的工程师和决策者必须避免同样的陷阱。 伦理影响评估、参与性设计过程和拒绝将效率视为最高价值都是必要的。 另一种选择是,在这个世界,正如系列最黑暗的时刻,我们建立起来的保护我们的工具就成为了压迫的工具。
最终,[从灰烬中汲取[不仅仅是虚构的内涵的副标题;它恰当地描述了当一个社会意识到它已经把太多的权力交给它的机器时必须发生的事情。 心灵-机器冲突的后果向我们展示了复苏是可能的,但它需要勇气、诚实和对人类生命的混乱、不可贬低的价值的坚定承诺。 由于我们自己的世界正在走向更加综合的算法治理形式,系列是庄严的提醒,即这种冲突的火焰不是我们现在作出的选择的产物,如果我们学会在为时尚晚之前就追究我们创造的罪责,这些后果是可以避免的。