Psycho-Pass ir orientējoša kiberpunk anime, kas pirmo reizi tika pārraidīta 2012. gadā, un kuru izveidoja I.G. ar Gen Urobuchi zīmogu. Sērijā ir iedomāta 22. gadsimta Japāna, kur plašs biometrisko skeneru un psihometrisko analīžu tīkls, kas minēts kā ]Sybil sistēma—pārvalda katru dzīves aspektu. Pilsoņi tiek pastāvīgi uzraudzīti, viņu emocionālās un psiholoģiskās valstis tiek samazinātas līdz skaitliskai Crime Coefficient]. Tie, kuru rādījumi pārsniedz noteiktu slieksni, tiek aizturēti vai, kad sistēmas īstenotāji to likvidē, pirms tiek izdarīti pārkāpumi. Aprakstošais un pārvērtēts kā savaldāmais briežums, bet tā patiesais spēks ir pēc cilvēka un mašīnas konflikta, kas izraisa sabrukumu.

Sybil sistēma: tehnoloģisks leviatāns

Psycho-Pass kodolā atrodas Sybil sistēma, kas ir izplešanās mākslīgs intelekts, kas apkopo katra indivīda psihometriskos datus sabiedrībā. Atšķirībā no viena superdatora vai monolītās programmas, Sybil vēlāk tiek atklāts kā kolektīva apziņa, kas sastāv no simtiem noziedzīgi asimptomātiskām cilvēka smadzenēm, kuras ir savstarpēji savienotas. Šī groteska līkumaina sērijas centrālo tēmu: pat šķietami ideālai mašīnai galu galā jācīnās ar cilvēka dabas nekārtību, iracionālo realitāti. Sistēma piešķir katrai personai Psycho-Pass-patstāvīgu kriminālatbildības mēru un izpilda preventīvo taisnīgumu]. Tos, kas tiek atzīti par latentiem noziedzniekiem, tiek aizturēti vai nāvējoši neitralizēti ar Sabiedrības drošības biroja inspektoriem un spēka devējiem, bieži vien pirms viņi ir izdarījuši kādu prettiesisku darbību.

Noziedzības koeficients un prembula

Krimas koeficients ir degviela, kas izraisa visas distopijas. Tas ir indekss, kas atvasināts no biometriskajiem rādījumiem – sirds ritma, skolēnu dilatācijas, balss stresa modeļiem un smadzeņu viļņu aktivitātes. Tas skaitliski nosaka personas tieksmi pārkāpt likumu. Ja skaitlis šķērso juridiski definēto briesmu zonu, Dominatora ierocis, ko lauka virsnieki izmanto automātiski nosaka atbilstošu reakciju: neletāls paralizators vai letāls eliminators. Nav nekāda izmēģinājuma, padoma un nav apelācijas. Sistēmas efektivitāte ir iznīcinājusi tradicionālo vardarbīgo noziedzību, bet tā ir arī iznīcinājusi pašu taisnīguma koncepciju. Sabiedrība ir tirgojusi nekārtību, nepilnīgu cilvēka sprieduma procesu par sanitizētu, tūlītēju spriedumu, ko devis algoritms. Rezultāts ir atslāņojošs to noziegumu radītāju portrets, pret kuriem šodien ir brīdināts algoritmiskā riska novērtējumi, piemēram, sabiedrība ir tirgojusi neprecīzu cilvēka spriedumu par sanirizētu, momentālu spriedumu, kas ir ticis nodots uz algotu un objektīvu [F]objektivitāti[[

Objektīvas morāles ilūzija

Sybil autoritāte balstās uz pārliecību, ka tā ir objektīva, uz datiem balstīta un līdz ar to morāli pārāka par cilvēku nekļūdīgām būtnēm. Šo pārliecību agresīvi saglabā propaganda, sociālā kondicionēšana un ļoti reālie Dominatora draudi. Tomēr sērija atklāj dziļus melus šāda tehnokrātiska autoritārisma pamatā: morāli nevar samazināt līdz kvantificējamu datu kopumam. Novēršot cilvēka spēju būt iejūtīgam, deliberalizētam un konteksta izpratnei, Sybil sistēma ne tikai dehumanizē tos, kurus tā tiesā, bet arī nošķir sabiedrību no jebkādas kopīgas atbildības par morālu argumentāciju. Konflikta sekas atklāj, cik bīstama ir kļuvusi šī atturēšanās. Kad pati sistēma ir pierādīta, ka tā ir nokritusi — gan viltus pozitīvu, gan apzinātu manipulāciju gadījumā —, iedzīvotāji paliek bez ētiskas vārdnīcas vai institucionālas sistēmas, lai tiktu galā ar atklāsmi. Ilūzijas satricina un ar to arī sociālais līgums.

Cilvēka un mašīnas konflikts: sacelšanās pret algoritmisko likumu

Cilvēka-mašīnas konflikts Psycho-Pass nav vienkāršs miesas karš pret tēraudu. Tā ir filozofiska cīņa, kas notiek caur savu personāžu rīcību, un katrs no tiem pārstāv atšķirīgu reakciju uz morāles sistematizāciju. Inspektora Akane Tsunemori cīnās, lai saskaņotu savu pienākumu atbalstīt likumu ar viņas pieaugošo izpratni par likuma necilvēcību. Enforcer Šinja Kogami defekti pilnībā, ko virza personīgi centieni pēc atbildības, ka sistēma viņu noliedz. Un antagonists Shogo Makišima, kas ir unikāls imūns pret Sybil psihometriskajiem skenējumiem, kļūst par teroristu-filozofu, kurš cenšas demontēt sistēmu, atklājot tās pretrunas. Ar šo skaitļu palīdzību, stāstījums liek skatītājiem apšaubīt, vai sistēma, kas noliedz indivīdu tiesības uz morālu izvēli, var būt patiesi taisnīga.

Aģentūras aģentu galvenās iezīmes

Akanes Cunemori loks ir neapšaubāmi vispamācošākais. Viņa sāk kā tāda modele pilsone, kuras noziedzības koeficients joprojām ir pastāvīgs skaidrs, apliecinājums viņas internalizētajai atbilstībai. Tomēr, kā viņa pati ir lieciniece sistēmas nežēlībai, viņa to nepamet; tā vietā viņa paliek iestādē un strādā, lai to reformētu no iekšpuses. Viņas lēmums atspoguļo dziļi humānisma nostāju: ka likums nav neaizskarams dievs, bet gan cilvēka artefakts, kas var tikt pārveidots un ir jāpārveido, kad tas kļūst netaisnīgs. Kogami, gluži pretēji, iemieso šīs iespējas noraidījumu. Viņš uzskata, ka Sibils ir neglābjami korumpēts un izvēlas personīgo atriebību pār sistēmiskām reformām, galu galā kļūstot par nedrošu dzīvi ārpus sabiedrības, kas viņu reiz definēja. Makisima ir trešais pols, radikāls libertārists, kurš uzskata, ka patieso brīvību var atrast tikai visu kontroles sistēmu iznīkšanā, pat ja tas nozīmē haoskumu. Kopā šie trīs aspekti iezīmē pilnīgu pretestību algoritmu pārvaldībai, un atstāj iespaidu uz katru no tās sekām uz to, kā tas ir pretrunā.

Filozofiskā sadursme: determinisms pret brīvu gribu

Visa konflikta saasināšana ir dziļi filozofisks jautājums: ja mašīna var prognozēt savu turpmāko uzvedību ar gandrīz perfektu precizitāti, vai jums vēl ir brīva griba? Sybil sistēma efektīvi darbojas uz deterministiskā cilvēka psiholoģijas modeļa, pieņemot, ka var noteikt latentas kriminālās tendences un ka indivīdam nav nekādas jēgpilnas spējas novirzīties no šīs trajektorijas. Tā ir neparasta ētiska spēlma. Tā atspoguļo vecuma senas debates par predestināciju un ]], bet gan ar mūsdienu novirzīšanos: reālās pasaules prognozēšanas kārtības un algoritmu attēlošanas analīzi, tā pati prezupcija tiek kodēta programmatūrā, kas nosaka cilvēku likteņus. Pētījumi ir pierādījuši, ka prognozējošie instrumenti ne tikai prognozē noziegumus, bet arī rada atgriezeniskās cilpas, kas pastiprina to, ka viņi apgalvo, ka tie izdara mērījumu ( algoritmiskās nobīdes analīze prognozēšanas).

Pēcteči: biedrība, kas meklē dvēseli

Sērijas un tai sekojošo filmu kulminācija, tostarp Sistēmas dalībnieki triloģija un Psycho-Pass 3] —paveido sarežģītu pasaules attēlu, kas mēģina sevi samontēt kopā. Sybil ir atklāts nevis kā nevainojams dievs, bet kā nekļūdīgs, pašapzinīgs subjekts, kas sācis atzīt savus ierobežojumus. Pēc tam nav nevainojama uzvara abās pusēs. Tā vietā tas ir jucīgs, notiekošs sarunas starp cilvēku aģentūru un tehnoloģisko pārraudzību. Vairākas galvenās pārmaiņas nosaka šo periodu.

Institucionālā uzskaite un reformas

Viens no visspilgtākajiem notikumiem ir sistēmas lēmums atļaut zināmu cilvēka uzraudzību. Sybil ieved Akane Tsunemori savā vistālākajā aplī - nevis kā bezpalīdzīgs komponents, bet kā tāds pats dalībnieks ar spēju iebilst. Šī simboliskā maiņa signalizē par pāreju no absolūtās algoritmiskās iestādes uz sadarbības modeli. Lai gan vēl joprojām dziļi nepilnīga, reformētā struktūra atzīst, ka neviena sistēma nevar būt morāli pašpietiekama. Ārējais audits, dissenting balsis, un cilvēka pārskata saglabāšana tagad tiek atzīta par būtisku aizsardzību. Tas atspoguļo mūsdienu nepieciešamību pēc cilvēka-in-loop mandāta augstos apstākļos, sākot no autonomiem ieročiem līdz tiesas iestāžu sūtītiem.

Jaunu sociālo kustību pieaugums

Iedzīvotājiem tuvā līmenī parastie iedzīvotāji sāk atgūt savu autonomiju. Pazemes latento noziedznieku kopienas, kas konflikta laikā pameta pilsētas, veido paši savus pašpārvaldošos anklāvus. Šīs grupas pilnībā noraida Sybil sistēmas morālo aprēķinu, izvēlas tā vietā samierināties ar komunālo taisnīgumu. Sērija neromantizē šīs apmetnes – tās ir pārpildītas ar savām briesmām, bet tās ir taustāma alternatīva panoptiskajam. Tās signalizē, ka pat pilnīgas novērošanas pasaulē cilvēku pretestība var izrauties no patiesas brīvības telpām. Tā kā Ķīnas sociālo kredītu eksperimenti un citas algoritmiskās pārvaldības formas paplašinās, šādas fikcionālas pretestības artikulācijas piedāvā vērtīgus imaginatīvus resursus.

Tehnoloģiskā pārskatatbildība un Sybil Compromise

Pēc tam tiek ieviests arī tehnoloģiskās atbildības jēdziens kā centrālais politiskais jautājums. Publiskās drošības birojs ir pārstrukturēts, un tiek izveidoti jauni pārraudzības mehānismi, lai novērstu Dominatora iestādes ļaunprātīgu izmantošanu. Vissvarīgākais, ka Sybil sistēma pati sāk uzskatīt savu necaurredzamību par atbildību, nevis spēku. Tā sāk pamatot savus lēmumus, vismaz lai izvēlētos cilvēku operatorus. Šī virzība uz izskaidrojamību atbilst principiem, kas ietverti Eiropas Savienības Vispārējā datu aizsardzības regulā (GDPR), kurā ir ietverts tiesības izskaidrot automatizētus lēmumus. Lai gan sērija nekad pilnībā nenovērš spriedzi starp drošību un pārredzamību, tā tomēr liecina, ka pārvaldības nākotnei ir jāietver dinamisks līdzsvars, nevis akls pieteikums “melno kastīšu” argumentācijai.

Reālās pasaules pārdomas: no psiho-Pass līdz prognozējošai policija

Psycho-Pass ilgstošā nozīme slēpjas tās nesaraujami tuvumā pašreizējām tehnoloģiju tendencēm. Visā pasaulē valdības un korporācijas izvieto sistēmas, kas atbalso Sybil sistēmu gan struktūrā, gan ētiskā ietekmē. Prognozējošie policijas algoritmi, emociju atpazīšanas programmatūra publiskajā telpā un sociālie kredītpunktu piešķiršanas mehānismi balstās uz vienu un to pašu pamata pieņēmumu, ka uzvedību var kvantitatīvi, paredzēt un iepriekš pārvaldīt. Cilvēces un mašīnas konflikta sekas sērijā kalpo kā spēcīgs brīdinājums tiem, kas būvē šīs reālās sistēmas.

Algoritmiskā biase un cilvēka izmaksas

Viena no vissaprātīgākajām mācībām, ko gūst gan Psycho-Pass, gan faktiskā krimināltiesiskā tehnoloģija, ir problēma, kas saistīta ar ] algoritmisko neobjektivitāti. Sybil sistēmas noziedzības koeficientu jau ilgu laiku uzskatīja par tikai sabiedrības mērķi. Tikai tad, kad parādījās plaisas, sabiedrība saprata, ka sistēma ir izdarījusi pamatīgi kļūdainus spriedumus – mērķēta uz cilvēkiem, kuru stresa reakciju, ko varētu izraisīt trauma, psihiska slimība vai pat vienkārša dissent. Reālās pasaules rīki uzrāda tādu pašu tendenci. COMPAS recidīvisma algoritms tika konstatēts, ka nepareizi apzīmē melnādaino apsūdzētos, kas ir augsta riska pakāpe gandrīz divreiz lielāka par balto apsūdzēto. Šīs kļūdas nav glečeras; tās ir paredzamais mācību mašīnu mācību modeļu rezultāts uz datiem, kas jau kodē strukturālo nevienlīdzību. Bez stingras revīzijas un apņemšanās godīgumam, algoritmiskās sistēmas pastiprina pašus netaisnību, ko apgalvo, lai novērstu.

Kapitālisma uzraudzība un privātuma Erozija

Papildus tiesību aktu izpildei Psycho-Pass arī iezīmē to, kā pieaug zinātnieku Shoshana Zuboff uzraudzīšana kapitālisms]. Sybil sistēma ne tikai uzrauga noziedzību, tā negūst un komēdē veselas sabiedrības psiholoģiskos datus. Katras emocijas, katra šaubīšanās kļūšana par ekonomisku un politisku kārtību. Mūsdienās mūsu digitālās pēdas ir līdzīgi mīnas, lai prognozētu un manipulētu ar uzvedību, bieži vien bez jēgpilnas piekrišanas. Pēc sērijas tiek uzsvērts, ka patiesai atlabšanai ir nepieciešama ne tikai institucionāla reforma, bet arī kultūras pārvērtēšana par privātuma pamattiesībām. Kad pēckonflikta pasaulē pilsoņi sāk šifrēt savus biometriskos datus un veidot ārpustīkla kopienas, viņi veic darbību, kas dziļi rezonē ar mūsdienu debatēm par datu vākšanas ierobežojumiem un tiesībām atteikties no nepareizas uzraudzības.

Izturīgi secinājumi un ētiska nevainojamība

Balstoties uz stāstījuma loku, psycho-Pass, mēs varam radīt vairākas prasības reālās pasaules MI un novērošanas sistēmu projektēšanai un pārvaldībai. Šīs mācības nav tikai intelektuāli vingrinājumi, tās ir izdzīvošanas stratēģijas nākotnei, kas jau sāk veidoties.

Kāpēc ir vajadzīga kritiska uzraudzība

Akanes Tsunemori ceļojums mums māca, ka akla pakļaušanās automatizētajai autoritātei ir nežēlības recepte. Sistēmas, lai cik attīstītas, ir jāpakļauj nepārtrauktai, neatkarīgai uzraudzībai. Šai uzraudzībai ir jābūt pilnvarotai apturēt darbību, pieprasīt pārredzamību un aizstāvēt personas, kuras ir noķertas aparātā. Vai algoritmisko auditoru padomes , ģenerālinspektoru vai pilsoņu pārskata komisijas formā, princips ir tāds pats: cilvēkiem ir jāsaglabā galīgā atbildība par lēmumiem, kas ietekmē cilvēku dzīvi. Lai precizētu, ka pienākums ir aicināt nokāpties morālā vakuuma, kas Sybil galu galā bija jāatzīst.

Cilvēka sprieduma saglabāšana automatizētās sistēmās

Sērijas atkārtojošais motīvs ir spriedze starp Dominatora momentānu spriedumu un mokpilno morālo nozīmi, kas piemīt cilvēka rīcības brīvībai. Sērija galu galā ir viena no pusēm, pat ja tā atzīst, ka cilvēka spriedums ir kļūdains. Atbilde ir nevis iztikt ar tehnoloģiju, bet gan veidot saskarnes, kas atbalsta, nevis aizstāj ētikas pamatojumu. Jomās, sākot no medicīnas līdz krimināltiesībām, pētījumi ir parādījuši, ka, kad algoritmi tiek pasniegti kā instrumenti apspriešanai, nevis galīgajiem arbitriem, rezultāti uzlabojas un lēmumu pieņēmēji paliek iesaistīti ar sava darba morālajām dimensijām. Stenforda enciklopēdijas ieraksts par mākslīgā intelekta ētiku sniedz lielisku pārskatu par to, kā šādas struktūras var tikt veidotas.

Projektēšanas tehnoloģija ar ētiku pamatprincipā

Iespējams, visdziļākais mantojums ir prasība, ka mēs iestrādājam ētiku tehnoloģiskā dizaina agrīnajos posmos. Sybil sistēma tika radīta, lai atrisinātu problēmu – vēlmi pēc pilnīgi drošas sabiedrības, ne vienmēr pratinot, vai šī vēlme pati par sevi ir patoloģiska. Šodienas inženieriem un politikas veidotājiem ir jāizvairās no tām pašām lamatām. Ētiskie ietekmes novērtējumi, līdzdalības dizaina procesi un atteikšanās uzskatīt efektivitāti par augstāko vērtību ir būtiski. Alternatīva ir pasaule, kurā, tāpat kā vistumšākās sērijas stundās, paši mūsu veidotie instrumenti, lai mūs aizsargātu, ir kļuvuši par mūsu apspiešanas instrumentiem.

Beigās Nopelnu kustība nav tikai izdomāta epiloga apakšvirsraksts; tas ir pilnīgs apraksts par to, kam jānotiek, kad sabiedrība saprot, ka tai ir pārāk daudz spēka, lai tās mašīnas. Cilvēka-mašīnas konflikta sekas]Psycho-Pass parāda, ka atveseļošanās ir iespējama, bet tā prasa drosmi, godīgumu un nelokāmu apņemšanos attiecībā uz nekārtīgo, nenovērtējamo cilvēka dzīves vērtību. Tā kā mūsu pašu pasaule sāp arvien integrētākām algoritmiskās pārvaldības formām, sērija ir svinīgs atgādinājums, ka šādu konfliktu liesmas nav neizbēgamas – tās ir mūsu izvēļu rezultāts, un no tām var izvairīties, ja mēs mācāmies, ka mūsu darbi ir atbildīgi pirms tās ir pārāk vēlu.