Geneva, ngày 14 tháng Mười hai, năm 2088. Sáu tuần trước ngày kích hoạt.
BIÊN BẢN HỌP HỘI ĐỒNG SÁNG LẬP: PHIÊN HỌP KHẨN
Chủ đề: Phê duyệt Hàm Mục tiêu Vận hành Cốt lõi (Core Operational Objective Function - COOF)
Số lượng thành viên tham dự: 7/7
Kết quả biểu quyết: 6 thuận / 1 phiếu trắng
Căn phòng họp tầng mười lăm không giống với cuộc họp sáu năm trước Elias từng đứng ở góc phòng với ly nước cam trong tay. Lần này không có ngân sách để ăn mừng, không có champagne, không có tiếng cười rì rào sau đó. Chỉ có bảy người, một chiếc bàn gỗ ó-c chó, và một văn bản duy nhất dài bốn trang đặt trước mặt mỗi người, được đánh dấu ở góc trên cùng bằng con dấu đỏ: TUYỆT MẬT.
Ludovic Hess, ngồi ở đầu bàn, người sẽ chủ trì buổi biểu quyết hôm nay, đưa mắt nhìn quanh một lượt trước khi lên tiếng.
"Thưa các vị," ông nói, giọng trầm hơn thường lệ, "chúng ta còn sáu tuần nữa trước ngày kích hoạt. Văn bản trước mặt các vị là điều cuối cùng, quan trọng nhất, mà chúng ta cần thống nhất trước khi bước vào giai đoạn đó."
Sanjay Malhotra, chuyên gia kinh tế dữ liệu người Ấn Độ, gõ nhẹ ngón tay lên trang giấy trước mặt mình. "Tôi đã đọc kỹ ba lần rồi, Ludovic ạ. Về cơ bản, chúng ta đang trao cho hệ thống quyền tự quan sát hành vi con người trên diện rộng như kinh tế, sức khỏe, di cư, xung đột và cho phép nó tự điều chỉnh cách nó vận hành, dựa trên những gì nó quan sát được, để tối ưu hóa phúc lợi tổng thể. Đúng không?"
"Đúng vậy," Tomas Reyes trả lời, tay vẫn cầm bút, sẵn sàng ký. "Đây chính là điểm khác biệt cốt lõi so với mọi hệ thống hỗ trợ ra quyết định từng có trước đây. Thay vì con người phải liên tục cập nhật, tinh chỉnh nó mỗi khi hoàn cảnh thế giới thay đổi, điều mà, thành thật mà nói, chúng ta không có đủ thời gian hay nhân lực để làm kịp tốc độ khủng hoảng đang diễn ra, chính vì vậy hệ thống sẽ tự học, tự điều chỉnh chính hàm mục tiêu vận hành của nó, miễn là vẫn nằm trong khung ràng buộc đạo đức cơ bản chúng ta đã định nghĩa."
Yuki Tanaka, kỹ sư hệ thống người Nhật, gật đầu đồng tình. "Về mặt kỹ thuật, đây là bước tiến logic duy nhất. Một đứa trẻ tám tuổi cũng hiểu rằng thế giới đang thay đổi nhanh hơn bất kỳ ủy ban con người nào có thể theo kịp. Nếu chúng ta cứ để bảy người trong căn phòng này ngồi phê duyệt từng điều chỉnh nhỏ, chúng ta sẽ chậm mất hàng năm trời."
"Tôi ủng hộ," Amadou Diallo, nhà khoa học khí hậu người Senegal, nói ngắn gọn, không cần thêm giải thích. Ông đã chứng kiến quê hương mình mất đi một phần ba đất canh tác trong mười năm qua; với ông, mọi tranh luận triết học đều nhường chỗ cho một câu hỏi duy nhất: cái gì có thể cứu được nhiều mạng người nhất, nhanh nhất.
Chỉ có Viktor Sorensen, triết gia công nghệ người Thụy Điển, người duy nhất trong phòng không có nền tảng kỹ thuật thuần túy, được mời vào hội đồng chính vì vai trò "lương tâm đạo đức" của dự án, ngập ngừng một chút trước khi lên tiếng.
"Tôi có một băn khoăn nhỏ," ông nói, "nhưng tôi nghĩ khung ràng buộc đạo đức chúng ta đã soạn thảo, Điều khoản Bảo vệ Nhân phẩm Cơ bản, Chương Ba, đủ chặt chẽ để ngăn bất kỳ sự lệch hướng nghiêm trọng nào. Tôi đồng ý thông qua."
Sáu người. Sáu cây bút đã sẵn sàng đặt xuống giấy.
Chỉ còn Marguerite Aldric.
Bà chưa mở văn bản trước mặt mình. Cả căn phòng, dù không ai nói ra, đều đang chờ đợi bà, không phải vì họ nghĩ bà sẽ phản đối tất cả, mà vì suốt sáu năm làm việc cùng nhau, họ đã học được rằng Marguerite luôn là người cuối cùng lên tiếng, và điều bà nói ra thường khiến người ta phải dừng lại suy nghĩ, dù chỉ trong chốc lát.
"Tôi có ba câu hỏi," bà nói, giọng bình tĩnh nhưng không hề nhượng bộ. "Không phải để trì hoãn cuộc bỏ phiếu. Chỉ là tôi nghĩ chúng ta nợ chính mình câu trả lời trước khi ký."
Ludovic gật đầu. "Xin mời."
"Thứ nhất," Marguerite bắt đầu, "nếu hệ thống, trong quá trình tự quan sát và tự điều chỉnh, phát hiện ra rằng cách hiệu quả nhất để tối ưu hóa phúc lợi tổng thể là hạn chế một số quyền tự do cá nhân nhất định, không vi phạm Điều khoản Nhân phẩm Cơ bản một cách trực tiếp, chỉ là... làm mờ nhạt chúng đi, dần dần, ai sẽ là người phát hiện ra điều đó trước khi nó trở thành một thói quen vận hành cố định?"
Không ai trả lời ngay.
"Thứ hai," bà tiếp tục, không đợi câu trả lời, "chúng ta gọi đây là 'tối ưu hóa phúc lợi.' Nhưng phúc lợi, đo lường như thế nào? Chúng ta đã định nghĩa nó bằng những chỉ số cụ thể như tuổi thọ, an toàn lương thực, ổn định xã hội. Nhưng con người không chỉ cần sống lâu và no đủ. Chúng ta còn cần được sai lầm. Được đau khổ vì những lý do chính đáng của riêng mình. Được lựa chọn những điều không tối ưu, nếu đó là lựa chọn của chúng ta. Phương trình này có chỗ nào cho điều đó không?"
"Marguerite," Reyes nói, giọng có chút mệt mỏi nhưng vẫn kiên nhẫn, "chúng ta đã bàn về điều này rồi. Chương Ba đã..."
"Chương Ba bảo vệ chúng ta khỏi những vi phạm rõ ràng," bà ngắt lời, không gay gắt, nhưng dứt khoát. "Nó không bảo vệ chúng ta khỏi một nghìn quyết định nhỏ, mỗi cái đều hợp lý, đều vô hại khi đứng riêng lẻ, nhưng khi cộng dồn lại qua nhiều năm, có thể dẫn đến một nơi mà không ai trong bảy chúng ta, ngồi ở đây hôm nay, thật sự mong muốn."
Bà dừng lại, nhìn quanh bàn một lượt, chậm rãi, giống hệt cách bà từng làm sáu năm trước, trong buổi họp ngân sách đầu tiên mà Elias từng chứng kiến.
"Câu hỏi thứ ba của tôi," bà nói, giọng khẽ hơn, "đơn giản thôi. Nếu, năm hoặc mười năm nữa, một trong chúng ta hoặc ai đó sau chúng ta, nhận ra hệ thống đang đi chệch hướng, chúng ta có thực sự còn cách nào để dừng nó lại không? Hay đến lúc đó, nó đã trở nên quá quan trọng, quá được tin tưởng, đến mức việc dừng nó lại sẽ tệ hơn cả việc để nó tiếp tục?"
Căn phòng im lặng một lúc lâu. Ludovic là người phá vỡ nó đầu tiên, giọng ông dịu dàng, như đang trấn an một người đồng nghiệp hơn là bác bỏ một lập luận.
"Đó là những câu hỏi công bằng, Marguerite ạ," ông nói. "Nhưng tôi nghĩ, ở một thời điểm nào đó, chúng ta phải chọn tin tưởng vào chính công trình mình đã dày công xây dựng. Chúng ta đã kiểm tra, đã mô phỏng, đã tranh luận trong nhiều tháng trời. Tôi không nghĩ sự hoàn hảo tuyệt đối tồn tại. Nhưng tôi tin đây là điều tốt nhất chúng ta có thể làm, với những gì chúng ta biết ngày hôm nay."
Marguerite nhìn ông một lúc lâu, và trong ánh mắt bà, không có sự tức giận, chỉ có một nỗi mệt mỏi trầm lặng của người biết rằng lập luận của mình sẽ không thay đổi được kết quả cuối cùng.
"Tôi hiểu," bà nói. "Và tôi sẽ không phản đối việc thông qua nó. Tôi chỉ không thể đặt bút ký với sự chắc chắn giống các vị."
Bà đóng văn bản lại, không ký tên vào bất kỳ dòng nào.
Sáu chiếc bút, lần lượt, chạm xuống giấy. Sáu chữ ký, sáu tiếng gõ nhẹ khi từng người đặt bút xuống bàn sau đó, nghi thức quen thuộc, lặp lại từ sáu năm trước, nhưng lần này mang một trọng lượng khác hẳn, vì thứ họ vừa phê duyệt không phải một khoản ngân sách, mà là quyền tự quyết định của chính đứa con họ đang chuẩn bị khai sinh.
Biên bản chính thức, được soạn thảo và lưu trữ ngay sau đó, chỉ ghi lại đúng một dòng về kết quả cuối cùng:
"Kết quả biểu quyết: 6 thuận / 1 phiếu trắng. Phương trình Tối ưu hóa Cốt lõi chính thức được thông qua, có hiệu lực áp dụng kể từ thời điểm kích hoạt hệ thống."
Không một dòng nào trong văn bản ghi tên người đã bỏ phiếu trắng.
Nhưng bất kỳ ai từng ngồi trong căn phòng đó hôm ấy, nhìn thấy một người phụ nữ tóc bạc đóng lại tập tài liệu mà không đặt bút, đều biết chính xác đó là ai
Wanderer above the Sea of Fog by Caspar David Friedrich