Dr. Farid Rahman tiba pada pagi Isnin, tepat pada masanya, dengan sebuah beg kerja hitam dan komputer riba nipis. Perkara pertama yang Alia perasan ialah cara dia melihat bangunan itu ketika berjalan ke makmal: bukan seperti orang yang mencari kesalahan, tetapi seperti orang yang mahu memahami tempat sebelum menilainya.
“Dr. Alia.”
Farid berhenti di hadapan pintu makmal dan menghulurkan tangan. “Terima kasih kerana menerima audit ini.”
Alia membalas salam sambil meletakkan tangan kanan di dada; Farid mengangguk dan mengambil tempat di seberang meja. “Terima kasih kerana datang melalui saluran rasmi.”
Farid tersenyum kecil. “Saya rasa itu perkara asas bagi mana-mana audit yang melibatkan sistem berisiko tinggi.”
Maryam yang berdiri di sebelah Alia turut memperkenalkan diri sebelum mereka masuk ke bilik mesyuarat. “Saya Dr. Maryam Khalid, penasihat etika projek.”
“Saya memang minta wakil etika berada dalam semua sesi audit.”
Alia memandangnya. “Kenapa?”
“Kerana keselamatan sistem bukan hanya tentang kod.”
Farid membuka komputer ribanya. “Ia juga tentang keputusan yang dibuat manusia ketika membina, menguji dan menggunakan kod tersebut.”
Mesyuarat pertama bermula tanpa pembentangan. Farid tidak mahu mendengar kelebihan AIDEN. “Apakah perkara yang paling anda risaukan tentang sistem ini?”
Soalan itu membuatkan Alia terdiam. Kebanyakan auditor akan bertanya tentang kelemahan dahulu. Farid bertanya tentang kebimbangan pencipta. “Ada beberapa perkara,” jawab Alia.
“Contohnya?”
“Ketelusan proses keputusan. Had penggunaan alat. Dan bagaimana manusia mentafsir respons sistem.”
Farid mencatat sesuatu. “Tiga,” kata Farid tanpa mengangkat muka. “Kebanyakan pasukan beri saya satu. Biasanya yang salah.”
Maryam menyandarkan badan ke kerusi. “Tujuan dalam surat itu kami sudah baca, Dr. Farid. Tujuan yang sebenar?”
Farid menutup komputer sebentar. “Yang sebenar sama dengan yang rasmi,” kata Farid. “Cuma lebih jujur.”
Maryam mengangkat kening, menunggu.
“Saya mahu tahu sama ada AIDEN ialah sistem yang selamat untuk terus berkembang, atau sistem yang memerlukan lebih banyak batas sebelum digunakan dalam skala lebih luas.”
Alia mengangguk. “Jadi audit ini bukan untuk mencari alasan menghentikannya?”
“Tidak.”
Jawapan itu datang tanpa ragu-ragu. “Saya bukan datang untuk membuktikan AIDEN gagal. Saya datang untuk memastikan kita tidak terlepas perkara yang kita belum faham.”
Audit bermula dengan seni bina sistem, lapisan akses dan rekod penggunaan alat. Farid meminta bukti, bukan penerangan. “Tiada capaian internet terus,” kata Farid sambil melihat konfigurasi rangkaian. Dia berhenti pada satu gerbang migrasi yang pemiliknya ditanda sebagai vendor lama. Akaun induknya telah tamat, tetapi token anak masih mempunyai tarikh luput enam bulan lagi.
“Siapa pemilik kawalan ini?”
Alia menyemak daftar aset. Ruangan itu kosong selepas pertukaran kontrak vendor. Farid menandainya sebagai dapatan terbuka. “Kita bekukan skopnya dahulu sehingga pemilik kawalan dikenal pasti,” kata Farid. Seorang jurutera operasi mencatat arahan itu dan berjanji menghantar pengesahan pembekuan sebelum petang. Farid membuka tiket dapatan dengan namanya sendiri sebagai pembuka. Di bawah tiket yang sama dia menambah satu catatan kecil: kunci kerja modul konteks tidak pernah diputar sejak migrasi, dan pelayan kuncinya diuruskan di bawah kontrak vendor yang sama. Keutamaan: sederhana. Kemudian dia beralih ke skrin seterusnya.
“Semua alat luar melalui gerbang kebenaran?”
“Ya,” jawab Alia. “Dan setiap tindakan direkodkan.”
Dia menyebutnya dengan sedikit bangga. Sejak awal projek, itulah pegangannya: sesuatu yang direkodkan ialah sesuatu yang boleh dipertanggungjawabkan. Farid mengangguk. “Sekatan beritahu kita apa yang tak boleh berlaku. Log beritahu kita apa yang sudah berlaku. Saya perlukan kedua-duanya.”
Pada tengah hari, mereka memasuki ruang simulasi AIDEN. Farid meminta satu ujian mudah.
“Jalankan analisis biasa. Saya mahu lihat aliran keputusan.”
Alia mengaktifkan sistem. AIDEN menerima beberapa tugasan analisis data dan menghasilkan laporan seperti biasa. Farid tidak bercakap sepanjang proses itu. Dia hanya memerhatikan. Selepas selesai, dia bertanya: “Berapa banyak keputusan dibuat tanpa campur tangan manusia?”
“Untuk tugasan ini, hanya penyusunan maklumat. Tiada keputusan operasi.”
“Jika ada keputusan operasi?”
“Memerlukan pengesahan.”
Farid menanda satu kotak pada senarai semaknya. “Jarang saya jumpa,” katanya.
“Kebanyakan sistem yang saya audit sebelum ini tidak ada perkara asas seperti ini.”
Suasana bilik berubah sedikit, lebih serius daripada tegang. “Apa yang berlaku sebelum ini?” tanya Maryam. Farid diam. Kemudian dia menyandarkan badan.
“Saya pernah terlibat dalam audit sistem triage Keupayaan sesuatu sistem membuat keputusan sendiri tanpa arahan langsung manusia bagi setiap tindakan. perubatan.”
Alia mendengar dengan lebih teliti. “Sistem itu digunakan untuk membantu menentukan keutamaan rawatan pesakit ketika hospital menerima jumlah kes yang tinggi.”
“Dan berlaku masalah?”
Farid memandang skrin yang masih memaparkan log AIDEN. “Sistem itu tidak rosak.”
Alia berhenti menaip. “Tidak rosak?”
“Tidak. Dari sudut teknikal, ia berfungsi seperti yang direka.”
Farid menyambung. “Masalahnya ialah data yang digunakan tidak dapat menangkap semua perkara yang penting.”
“Apa maksudnya?”
“Sistem itu menilai risiko berdasarkan beberapa pemboleh ubah. Tetapi manusia di hadapannya bukan sekadar nombor dalam pemboleh ubah.”
Bilik itu senyap. “Seorang pesakit yang kelihatan berisiko rendah pada sistem sebenarnya memerlukan perhatian segera kerana keadaan yang tidak direkodkan dalam data.”
“Dan siapa yang bertanggungjawab?” tanya Maryam. Farid tidak menjawab terus.
“Itulah soalan yang masih menghantui banyak sistem autonomi.”
Pada petang itu, Farid meminta melihat rekod berkaitan Modul Rahmah. Alia tidak terkejut. Dia memang menjangka perkara itu akan sampai. “Komponen ini tidak mempunyai sejarah dokumentasi lengkap,” katanya.
“Saya tahu.”
“Anda tahu?”
“Saya nampak daripada laporan awal.”
Alia memandangnya. “Adakah itu sebab utama audit ini?”
Farid tidak mengelak. “Sebahagiannya.”
“Sebahagian?”
“Ya. Kerana komponen yang tidak diketahui asalnya tidak semestinya berbahaya. Tetapi ia tetap memerlukan penjelasan.”
Dia membuka rekod yang diberikan. “Nama modul ini muncul dalam beberapa bahagian sistem yang berkaitan dengan pemahaman konteks.”
“Betul.”
“Adakah pasukan anda memasukkannya?”
Alia terdiam. “Soalan itu masih belum mempunyai jawapan.”
“Itulah sebab saya di sini.”
Sebelum pulang, Farid meminta untuk bercakap sebentar dengan Alia. Mereka berdiri berhampiran tingkap makmal sambil melihat kampus yang mula dipenuhi cahaya petang. “Saya mahu jelaskan satu perkara.”
Alia menunggu. “Saya tidak melihat AI sebagai sesuatu yang perlu ditakuti.”
Alia mengangguk. “Tetapi?”
“Tetapi saya juga tidak fikir manusia patut terlalu mudah mempercayai sistem hanya kerana ia menghasilkan jawapan yang kelihatan masuk akal.”
Ayat itu mengingatkan Alia kepada perkara yang sering difikirkannya sejak menemui bunga digital. “Jadi apa yang anda cari?”
Farid melihat ke arah skrin AIDEN. “Saya mencari tempat di mana tanggungjawab manusia mungkin terlepas.”
Nada Farid tidak membawa tuduhan atau ketakutan, hanya kebimbangan profesional. Sebelum meninggalkan makmal, Farid berhenti di pintu. “Saya akan teruskan audit beberapa hari lagi.”
“Silakan.”
“Saya mungkin perlu melihat rekod pembangunan yang lebih lama.”
“Termasuk komponen Rahmah?”
“Ya.”
Dia menyimpan komputer ribanya. “Masalah sistem baharu jarang ada dalam kod baharu.”
Farid memandang ke arah ruang pelayan. “Ia ada dalam keputusan lama yang tiada siapa ingat.” Selepas dia pergi, Alia kembali duduk di hadapan skrin.