Name là một cột mốc của công nghệ thông tin về công nghệ thông tin mà đầu tiên được phát sóng vào năm 2012, được tạo ra bởi sản xuất I.G với một câu chuyện được sáng tác bởi Gen Urobuchi. loạt hình dung một Nhật Bản thế kỷ 22 nơi mà một mạng lưới lớn các máy quét sinh trắc học và phân tích tâm lý - được cho là Hệ thống SybilNgười dân được giám sát liên tục, tình trạng cảm xúc và tâm lý của họ giảm xuống còn một con số Đồng bộ tội phạm Những người có khả năng đọc ở trên một ngưỡng nhất định bị giam giữ hoặc trong những trường hợp cực đoan, bị những người thực thi hệ thống loại trừ trước khi bất cứ tội ác nào xảy ra.

Hệ thống Sybil: Một con Lê - vi - a - than kỹ thuật

Ở trung tâm của Name Khác với một siêu máy tính hay một chương trình vô song, sau này Sybil được tiết lộ là một ý thức tập thể gồm hàng trăm bộ não tội phạm kết hợp với nhau. Name- một thước đo của tội ác tiềm ẩn của họ và thực thi một giáo lý của ngăn chặn công lý Những kẻ bị đánh dấu là tội phạm tiềm tàng bị bắt hoặc vô hiệu hóa bởi các thanh tra và lực lượng phòng chống công cộng, thường trước khi họ phạm bất cứ hành động bất hợp pháp nào.

Tội ác có hiệu quả và công lý được định trước

Hạt Đồng bộ tội phạm Nếu con số này đi qua vùng nguy hiểm hợp pháp, một vũ khí của chủ nghĩa nhân tạo được vận hành bởi các sĩ quan thực địa tự động xác định phản ứng thích hợp: một chất gây tê không gây tê hoặc tác tử vong. Không có lời khuyên nào, không có lời khuyên nào. Hệ thống này đã xóa bỏ hoàn toàn tội ác truyền thống, nhưng cũng đã làm rỗng khái niệm của xã hội. Name như công cụ tái bản COMPA, đã được hiển thị để nhúng phân biệt chủng tộc và kinh tế xã hội thành kiến dưới một vẻ bề ngoài của khách quan ( Cuộc điều tra của PPubica về khuynh hướng thiên vị của máy nêu rõ những mối nguy hiểm này).

Ảo tưởng về đạo đức phản đối

Cơ quan này được duy trì một cách tích cực qua sự tuyên truyền, điều chỉnh xã hội và mối đe dọa thật của nhà lãnh đạo tôn giáo. Tuy nhiên, loạt bài này vạch trần những lời dối trá sâu sắc của chủ nghĩa độc tài công nghệ: đạo đức không thể được giảm xuống thành một tập hợp những đầu vào có thể định lượng được. Bằng cách loại bỏ khả năng cảm thông, cân nhắc và hiểu biết về văn cảnh, Hệ thống Sybil không những làm giảm nhân loại mà còn xóa bỏ bất cứ trách nhiệm nào liên quan đến lý luận đạo đức.

Cuộc xung đột giữa con người và người: chống lại luật thuật thuật toán

Cuộc xung đột giữa con người và máy móc Name Thanh tra Akne Tsumori đấu tranh để duy trì nhiệm vụ của mình nhằm duy trì luật pháp với sự ý thức ngày càng sâu sắc về sự vô nhân đạo của luật pháp, mỗi người trong số đó đại diện cho một phản ứng khác hoàn toàn khác với sự cải cách của hệ thống đạo đức. và sự chống đối chống đối là từ chối hệ thống này, chỉ miễn dịch với việc quét tâm lý của Syb, một kẻ khủng bố tìm cách phá hủy hệ thống này, qua những nhân vật này, những nhân vật có thể tự hỏi một hệ thống có thể thực sự có thể được lựa chọn không.

Các đặc vụ của tổ chức là các ký tự then chốt

Bà bắt đầu là một công dân mẫu mà hệ thống tội ác có hiệu quả không ngừng, một giao ước với sự tuân thủ nội bộ, nhưng khi chứng kiến sự tàn ác của hệ thống này trực tiếp, bà không bỏ nó; thay vì thế, bà làm việc trong cơ quan và làm việc để cải cách nó từ bên trong. Quyết định của bà phản ánh một lập trường cực kỳ nhân đạo: rằng luật không phải là một thần thánh không thể xâm phạm, nhưng là một hiện thân của con người mà phải được hình dung khi hệ thống này trở nên bất công. Ngược lại, bà xem sự từ chối khả năng đó là bị từ bỏ. Ông ấy xem như là một sự thối nát và sự cải cách cá nhân, cuối cùng là một hệ thống hành động trả thù được định rõ ràng, một người đã bị định nghĩa là một hệ thống duy nhất có thể bị ngăn chặn khi hệ thống này bị kiểm soát bởi sự xung đột giữa hai hệ thống này.

Cuốn “The Philosophical Clash: Giải quyết triệt để chống lại tự do ý chí

Dựa trên toàn bộ xung đột là một câu hỏi triết học sâu sắc: nếu một cỗ máy có thể dự đoán hành vi tương lai của bạn với sự chính xác gần hoàn hảo, bạn có còn có tự do ý chí? Hệ thống Sybil hoạt động một cách hiệu quả trên một mô hình xác định của tâm lý con người, giả sử rằng xu hướng tội phạm tiềm ẩn có thể được nhận ra và rằng cá nhân không có khả năng có ý nghĩa để đi lệch khỏi quỹ đạo đó. đây là một canh bạc đạo đức phi thường. nó đã vượt qua những cuộc tranh luận về tuổi già về những vấn đề đạo đức. Tiền định và Sự đồng hóa Nghiên cứu cho thấy rằng công cụ dự đoán không chỉ dự đoán tội ác mà còn tạo ra các vòng phản hồi để củng cố các mẫu hình mà họ cho là có thể đo lường ( Phân tích thành kiến thuật toán trong việc xác định vị tríHậu quả của xung đột máy móc giữa con người và... Name Hãy kịch tính hóa những gì xảy ra khi lập luận xác định đó được đưa ra kết luận sau cùng: một xã hội đã quên cách tưởng tượng những tương lai khác, hoặc cách tha thứ.

Hậu quả: Một xã hội đi tìm linh hồn

Kết thúc của bộ phim và những bộ phim tiếp theo bao gồm Những người phạm tội trong hệ thống Hình tam giác và Name Thay vì thế, đó là một cuộc đàm phán hỗn độn giữa cơ quan con người và sự giám sát kỹ thuật.

Dự đoán và cải cách về thể chế

Một trong những phát triển đáng chú ý nhất là quyết định cho phép một mức độ giám sát của con người. Sybil đưa Akane Tsunemori vào vòng tròn bên trong của nó - không phải là một thành phần vô dụng nhưng là một người tham gia ngang bằng với khả năng đối tượng. Sự thay đổi tượng trưng này là tín hiệu chuyển đổi từ quyền thuật toán tuyệt đối sang một mô hình hợp tác hơn. Trong khi vẫn còn rất bất toàn, cấu trúc được cải cách thừa nhận rằng không có hệ thống có thể tự cung cấp đạo đức. Kiểm tra, bỏ giọng nói và sự bảo vệ của con người bây giờ được công nhận là cần thiết để bảo vệ gương này, mà được gọi là một hệ thống bảo vệ. con người trong vòng lẩn quẩn Lệnh đưa ra quyết định cao từ vũ khí tự động đến bản án.

Sự nổi lên của những phong trào xã hội mới

Ở cấp độ dân thường, những công dân thường bắt đầu đòi lại quyền tự trị của họ. Khi các cuộc thử nghiệm tín dụng xã hội và các hình thức khác của sự quản lý thuật toán mở rộng Sự phản kháng tưởng tượng như thế là một nguồn tài nguyên có giá trị trong trí tưởng tượng.

Công nghệ có trách nhiệm và thỏa hiệp với giáo hội

Kết quả cũng là giới thiệu khái niệm về Trách nhiệm công nghệ Điều quan trọng nhất là chính Hệ thống Sybil bắt đầu xem sự tinh vi của nó như một trách nhiệm thay vì một sức mạnh. phải giải thích Trong khi loạt bài không bao giờ giải quyết hết sự căng thẳng giữa an ninh và minh bạch, nó cho thấy rằng tương lai của sự quản trị phải bao gồm sự cân bằng động lực thay vì sự phục tùng mù quáng đối với lý luận hộp đen.

Phản ánh thế giới thực: từ tâm thần-tanh đến dự đoán chính trị

Sự liên hệ lâu bền của Name nằm trong sự gần gũi không rõ ràng của nó với xu hướng công nghệ hiện tại. trên toàn cầu, các chính phủ và các tập đoàn đang triển khai các hệ thống mà vang vọng về cơ cấu Sybil trong cả cấu trúc và đạo đức. dự đoán các thuật toán, nhận biết cảm xúc trong không gian công cộng và các cơ chế tín dụng được ghi đè lên tất cả dựa trên cùng một giả định rằng hành vi có thể được định lượng hóa, dự đoán, và dự đoán trước được quản lý.

Thuật toán và chi phí cho con người

Một trong những bài học nghiêm túc nhất từ cả hai Name và công nghệ công lý hình sự thực sự là vấn đề của Thành kiến thuật toán Hệ thống tội phạm của Sybil đã được, trong một thời gian dài, được xem là mục tiêu hoàn toàn của quần chúng. Chỉ khi các vết nứt xuất hiện xã hội nhận ra rằng hệ thống đã có sự phán xét rất không hoàn hảo - mô phỏng những người bị cáo đen có thể bị căng thẳng, có thể gây ra bởi chấn thương, bệnh tâm thần, hoặc thậm chí là những sự bất đồng đơn giản. Các công cụ thực tế hiển thị cùng một xu hướng. Thuật toán iệt lập được tìm thấy cho rằng bị cáo đen có nguy cơ cao hơn gấp đôi tỷ lệ bị cáo trắng. Những lỗi này không phải là lỗi, chúng là kết quả của việc dự đoán các mô hình học tập thông tin cấu trúc đã mã hóa và không có sự công bằng.

Chủ nghĩa tư bản và sự suy đồi của sự riêng tư

Ngoài việc thực thi pháp luật, Name Cũng là hình bóng cho sự thăng tiến của học giả Shoshana Zubuff. Chủ nghĩa tư bản theo dõi Hệ thống Sybil không chỉ đơn thuần giám sát tội ác mà còn thu thập và điều khiển hành vi, thường không có sự đồng ý đầy ý nghĩa. kết quả của chuỗi yêu cầu phục hồi thực sự không chỉ cải cách thể chế mà còn là sự tái cấu tạo văn hóa của sự riêng tư như một quyền cơ bản. khi người dân ở thế giới hậu chiến bắt đầu mã hóa hệ thống sinh học và hình thành các cộng đồng đang thực hiện một hành động có ý nghĩa mà còn thực hiện một hành động có tính hợp lý với các giới hạn hiện đại về các dữ liệu và các cuộc tranh luận về các dữ liệu có thể kiểm soát và các dữ liệu bên phải để kiểm tra các dữ liệu trong quá trình tổng hợp.

Chịu đựng được những bài học và những sự kích thích tinh thần

Vẽ từ vòng cung của câu chuyện Name Chúng ta có thể chưng cất một số mệnh lệnh cho thiết kế và quản lý hệ thống AI và giám sát thế giới thực. những bài học này không chỉ là những bài tập trí tuệ; chúng là chiến lược sinh tồn cho một tương lai đang hình thành.

Sự cần thiết của việc quản lý nghiêm trọng

Hành trình của chị Tsune Tsumori dạy chúng ta rằng vâng lời một cách mù quáng đối với các nhà cầm quyền là một công thức cho sự tàn bạo, dù có tiến bộ đến đâu, cũng phải chịu sự giám sát liên tục, độc lập. Kiểm tra bảng toán Thanh tra, hay các ban phê bình công dân, nguyên tắc là: con người phải giữ được trách nhiệm tối cao cho những quyết định ảnh hưởng đến đời sống con người.

Sự phán xét đáng được loài người tự động phán xét

Một sự căng thẳng lặp đi lặp lại trong loạt bài là sự căng thẳng giữa phán quyết của chủ nhà ngay lập tức và sự nặng nề về đạo đức của sự khôn ngoan con người. loạt bài này dựa vào những mặt sau để xác nhận rằng sự phán đoán của con người không hoàn hảo. Câu trả lời không phải là để phân phối công nghệ mà là để thiết kế những giao diện ủng hộ thay vì thay vì thay đổi lý luận đạo đức. Cuốn “Bách khoa Tự điển Stanford ” (The Stanford Encyclopedia) có mục nhập về đạo đức của trí tuệ nhân tạo cung cấp một sự tổng quát tuyệt vời về cách xây dựng các khuôn khổ đó.

Thiết kế công nghệ với đạo đức ở lõi

Có lẽ là di sản sâu sắc nhất của Name Hệ thống Sybil được tạo ra để giải quyết một vấn đề -- mong muốn cho một xã hội hoàn toàn an toàn -- chưa bao giờ nghi ngờ liệu mong muốn đó có phải là bệnh tật hay không. các kỹ sư và nhà chính sách ngày nay phải tránh cùng một cái bẫy. những sự đánh giá về tác động tích cực, quá trình thiết kế phân chia, và một sự từ chối xem hiệu quả như là tất cả những giá trị tối ưu. thay thế là một thế giới, trong những giờ tối tăm nhất của chuỗi, những công cụ chúng ta xây dựng để bảo vệ chúng ta trở thành công cụ của sự áp bức.

Cuối cùng, Nổi lên từ Ashes Nó là một mô tả thích hợp về những gì phải xảy ra khi một xã hội nhận ra rằng nó đã trao quá nhiều quyền lực cho máy móc của nó. Name cho chúng ta thấy rằng sự phục hồi là có thể, nhưng nó đòi hỏi sự can đảm, trung thực và sự cam kết không lay chuyển đối với giá trị không thể thay đổi của cuộc sống con người. và họ có thể tránh được nếu chúng ta học cách giữ các tạo vật của chúng ta chịu trách nhiệm trước khi quá muộn.