由「製作I.G」公司創作, 首播的網絡動畫是2012年的一個里程碑式的網絡播放。 系列的想像是22世紀日本, 一個巨大的生物測試器和心理測量分析網絡, 被稱為「 系统 」 —— 治理生命的方方面面。 公民被監控, 其情感和心理狀態降低到數字 。 犯罪效率 。 那些讀取過某個阈值以上的人被系統的執行者扣留, 或者在任何犯罪實際發生之前被系統的執行者所淘汰。 故事的演講述是一種抓人驚人的手段, 但真正的力量卻在人類機衝突擊衝突的後發發作, 系統的預測力仍然在屏幕之外反射, 提供預測器和預測機的外觀, 以及道德演算法。

斯比爾系統: 技術利維坦

和單一的超人電腦或單一程序不同, Sybil 被揭露為由數百個無罪的人類腦體組成的集体意識。 這個怪異的曲折突出了系列的中心主题:即使一個被稱為完美的機器也必須與人性這一亂七八糟的不合理現實抗爭。 系統為每個人指派了一個[] Psycho-Pass —— 一個其潜在犯罪量度—— 實施了 的 維護公理[ 。 那些被稱為潛伏罪犯的人,通常在他們犯下任何非法行为之前,就被公安局的檢察官和执行者逮捕或致命的中和中和。

犯罪合力和先发制人司法

犯罪效率 犯罪效率 是使整個消毒器發揮能量的燃料。 系統的效率完全沒有過審判, 也完全沒有了傳統的暴力犯罪, 但也使司法概念被空洞。 社會把人體判斷的不完善的混亂过程換成了一個靜默的、即時的定義。 結果就是今天犯罪學家在研究 時警告的冷酷肖像 COMPAS 重複工具, 被顯示在客观 [PLT: 機 的 模 [PLT: 機 4] 下, 被公開除的 。 [PLT: 機 4] 。

客观道德的幻覺

賽比爾的威信在于它具有公正、數據驱动、因此在道德上优于可欺騙的人。 這種信仰通过宣傳、社交調整和主人公的真正威脅而得到強烈的保持。 然而,這一系列揭露了如此技术官僚专制的核心:道德不能被降低到一套量化的投資。 賽比爾系統不仅使人們失去同情、審判和內在理解的能力,而且使社會失去了任何道德推理的共同责任。 衝突的後果也暴露了這場休戰的危險性。當這個系統本身被證明是不可欺騙的,而且被蓄意操縱的時候,人們就沒有了道德的語言或制度框架來應付啟示。 幻覺的破碎,社会契约也随之而成形。

人類與機器的衝突:反抗算法統治的叛逆

人机衝突在 Psycho-Pass 中不是簡單的肉體對鋼戰。它是由人物行為引起的哲學戰鬥,每個人物代表了對道德体系化的不同的反應。Akane Tsunemori探長努力調和她维护法律的責任,以及她日益认识到法律的不人道性。 強制者Shinya Kogami完全缺陷,由個人追求報復而驅使,而這個系統卻否定了他。 而對Sybil精神測試的獨立派Shogo Makishima, 成為了一個恐怖分子-哲学家,试图以揭露其矛盾而瓦解此系統。 透過這些數字,故事觀眾們質疑一個否定个人道德選擇權的系統能否真正公正。

代理代理的關鍵字元

據說,阿卡內·津莫里(Akane Tsunemori)的弧度是最有教訓性的。她開始是一位模范公民,其罪行效率一直清晰,是她內在化的遵守的證據。然而,她親眼目睹了系統的殘酷,卻沒有放棄,而是留在了制度內,努力從內部改革。她的決定反映了一個深刻的人文主義立场:法律不是不可接触的神,而是在不公時可以和必須重塑的人类藝術品。反之, 高加米代表了對這項可能性的否定。 他認為Sybil是不可挽回的腐敗,而且選擇了個人復仇,而成為了一個在社會之外生活、一度被定義的逃犯。 麻島是第三個極極端的解放者,認為真正的自由只能存在于所有控制系統的抹黑,即使它意味著混亂。

哲學衝突:定義主義對自由意志

根據整個衝突, 一個深刻的哲學問題: 如果一個機器能以接近完美精確的精確預測你的未來行為, 你是否仍然擁有自由意志? Sybil系統在一個決定人類心理的模型上有效運作, 假設潜在的犯罪倾向可以被辨識, 而個人沒有有意义的能力偏离這項運作。 這項問題是一種非凡的道德賭博。 它回應了古老的論辯, 關於 預測 和 compatibilism [, 但以現代的扭曲: 在現代世界預測警衛生和判算法中, 相同的預測程式被編譯成決定人們命运的軟體。 研究證明了預測工具不僅是預測犯罪, 它們會產生回應的回應環 分析預測力 預測 預測的過如何將如何改變社會的演擬

後方:一個尋找靈魂的社會

系列的高潮和之後的電影,包括 系統的內幕 三部曲和 Psycho-Pass 3 —— 描绘了一個世界試圖拼合在一起的複雜的圖景。 Sybil不是被暴露成一個完美無瑕的神,而是一個自覺的、自覺的、開始承認自身局限性的虛構实体。 後果不是兩方的純勝。 而是人權與技術监督之間的混亂、持续的谈判。

机构评估和改革

一個最引人注目的發展是系統決定了一定程度的人權監督。 Sybil把Akane Tsunemori帶入了它最內在的圈子 — — 不是一個無助的成分,而是一個具有反對能力的平等参与者。這象征性的改變表明從絕對算法權威轉向了更合作的模式。 尽管改革后的架构仍然非常不完美,但它承認任何系統都不可能在道德上自足。 外部审计、不同的声音和保持人權審查現在都被公认为是基本保障。 這反映了当代要求高級AI决策中 人權 的呼聲。

新社會運動的崛起

普通公民開始在基层恢复自治。 在衝突中逃离城市的潜在罪犯的地下社区形成了自己的自治地區。 這些群体完全拒絕了Sybil系統的道德算法,而是選擇了共同同意的公義。 系列的不浪漫化了這些定居点,他們充滿了自己的危險,但他們代表了全景的有形替代物。它們表明即使在一個完全監控的世界中,人类的复原力也能挖出真正的自由的空間。 中國的社会信用實驗和其他形式的算法治理扩张,這種虛構的抵抗宣傳提供了宝贵的想象力資源。

技术问责制和共同妥协

後來也引入了 科技責任 的概念,作為中心政治問題。 公共安全局被重新組建,建立了新的監督机制以防止滥用管理權。最重要的是,Sybil系統本身開始把其自身的不透明度當做責任而不是力量。它開始為自己的決定作證,至少是選取人員。這一步向可解釋性進一步回應了歐盟一般數據保護条例(GDPR)中包含的原理,其中包括一個 的權限,以解釋自动化決定。這一系列的規劃從來不完全解決安全與透明之間的緊張,但這項規定表明,治理的未來必須包括动态平衡,而不是盲服黑盒推理。

真實世界的反射:從精神-保斯到預期的治安

斯西喬-帕斯的持久相关性在于它与目前的科技潮流的不相干。 在全球,政府和公司正在部署在结构和道德方面都回應Sybil框架的系統。 預期性警示演算法、公共空间的情感识别軟體和社会信用評分机制都基于相同的基本假设,即行為可以量化、预测和先發制人。 系列人机衝突的後果是建立這些真實世界系統者的嚴格警告性描述。

算法比亞斯和人的代价

斯比爾系統的Crime Coeail在很長的時間里一直被人們認為是纯粹的目標。 只有當裂痕出現時,社會才明白系統的判斷有極度的缺陷 — — 以可能因精神创伤、精神疾病甚至簡單的異議而引起的压力反應为目标。現實世界的工具也表现出相同的倾向。COMPAS累犯算法被错误地稱作黑被告的高风险,其比例是白人被告的近一倍。這些錯誤不是零星的;而是已經編碼了结构性不平等的數據的機械學模型的可預知成果。 沒有嚴格的審判,沒有對公平的承诺,算法系統就放大了他們所声称要消除的極不公義。

監督資本主義和隱私的消滅

除了執法,Psycho-Pass[也預示了学者肖沙娜·祖布夫所稱的[]監察资本主义的崛起。Sybil系統不僅監控犯罪,它收割和編造了全國人的心理資料。每一次情感,每一次發出疑問,都成為经济和政治秩序的原料。今天,我們數位腳印都一樣地被挖掘出來,以預測和操控行為,而常常沒有有意义的同意。系列的後果,這項研究的結構結表明真正的恢復不仅需要体制改革,而且需要文化上重申私生活是一種基本权利。當冲突后世界的公民開始加密自己的生物學並形成無線群體時,他們正在做著著一個非常符合現代的論論論,即数据收集的局限性和退出無規監權。

持久的经验教训和道德要求

根據的敘述弧,我們可以提炼出一些设计和治理真實世界AI和監控系統的必備。 這些教訓不只是智力演習,而是一個已經成形的未來的生存策略。

重要监督的必要性

阿卡內·津森的旅程教導我們,盲目服从自動權威是一種暴行的處方。不管系統有多進步,它都必須受到连续的獨立監控。 監控必須被赋予權力,以阻止操作,要求透明,並為被機械困在機械內的个人發聲。 不管是以算法審查局的形式[:1]],都以檢察官或公民審查委員的形式,其原理是相同的:人必須保留對影响人命的決定的最终責任。 放棄這項責任就是讓一個下屬到Sybil最终不得不承認的道德真空中去。

在自動系統中保持人的判决

系列中反复出现的動機是統治者即時判決和人體裁量權的道德分量的緊張。 系列中, 人體裁量權的道德分量的分量是相當於后者的, 即使它承認人體裁量有缺陷。 答案不是不使用科技,而是設計支持而不是取代道德推理的界面。 在從醫學到刑事司法的领域中, 研究表明,當算法被提出來作為審判工具而不是最后仲裁者, 結果會改善, 决策者仍然在工作道德方面投入。 斯坦福百科全書中, 人工智能道德學的一項 提供了如何建立這些框架的優美概述。

以道德為核心的科技

也許Psycho-Pass最深刻的遺產是它要求我們把道德嵌入技术設計的最早阶段。Sybil系統的建立就是為了解決一個問題—— 一個完全安全的社會的渴望 — — 而不問這是否是病態的。今天的工程師和决策者必須避免相同的陷阱。道德影響评估、参与性设计流程和拒絕把效率當做最高值都是必要的。 替代的辦法是,像系列最黑暗的時刻,我們建立保護我們的工具就成了我們受壓迫的工具。

最後,從灰烬中走來,[不僅是虛構的說法的副名詞,它也恰如其分地描述了當一個社會意识到它已經把太多的權力交給了它的機器時,它必須發生什么。 Psycho-Pass[ 中的人机衝突的后果向我们展示了恢復是可能的,但這需要勇氣、誠實和对人类生命的混亂、不可推卸的價值的不斷承諾。 作為我們自己的世界,它更是一種更集結的算法治理,它就代表了這種衝突的火焰不是我們現在作出的選擇的产物,如果我們學到在為時為晚之前就該如何避免了。