Lebih dari 800 tokoh publik dan ilmuwan telah menandatangani surat terbuka yang menyerukan penghentian pengembangan kecerdasan buatan super (superintelligence AI) hingga terbukti aman dan dapat dikendalikan. Seruan ini muncul di tengah percepatan teknologi AI yang mengejutkan banyak pihak.

Apa Itu “Superintelligence” dan Mengapa Jadi Khawatir?

Istilah “superintelligence” merujuk pada sistem AI yang bukan hanya “pandai” di satu bidang, tetapi dapat melampaui manusia dalam sebagian besar tugas-tugas penting. Para penandatangan surat menyebut bahwa pengembangan teknologi semacam itu bisa menimbulkan risiko eksistensial bagi umat manusia.

Mereka memperingatkan bahwa hanya dengan persiapan matang — termasuk konsensus ilmiah dan dukungan publik — pengembangan superintelligence bisa dilanjutkan dengan aman.

“The only thing likely to stop AI companies barreling toward superintelligence is for there to be widespread realization among society that this is not actually what we want.” — seorang perwakilan dari Future of Life Institute.

Membayangkan AI yang “lebih pintar dari manusia” bisa terasa seperti cerita fiksi ilmiah. Tetapi para penandatangan menekankan bahwa kita mendekati titik di mana skenario tersebut bukan sekadar imajinasi — melainkan kemungkinan nyata yang perlu dihadapi sekarang.

Siapa yang Menandatangani — Apa Maknanya?

Surat terbuka ini menampilkan daftar penandatangan yang sangat beragam: dari ilmuwan pemenang Nobel, peneliti AI terkemuka seperti Geoffrey Hinton dan Yoshua Bengio, hingga tokoh populer dan selebritas seperti Meghan Markle dan Prince Harry.

Dengan keterlibatan nama-besar dari bidang teknologi, organisasi keagamaan, seni, dan politik, seruan ini jadi lebih dari sekadar protes akademis — ia berubah menjadi gerakan publik global yang menuntut pengawasan serius terhadap AI.

Penandatangan menyatakan bahwa “kami memanggil larangan pengembangan superintelligence yang tidak akan dicabut sebelum ada konsensus ilmiah yang luas bahwa teknologi tersebut aman dan bisa dikendalikan."

Tingkat dukungan publik juga menunjukkan kecenderungan kuat: sebuah survei yang dirilis bersamaan dengan surat itu menemukan sekitar 64% warga Amerika setuju bahwa pengembangan superintelligence harus ditunda hingga terbukti aman. Hanya 5% yang mendukung pengembangan cepat tanpa regulasi kuat.

Tantangan Utama yang Dikemukakan

Persaingan Teknologi & Kecepatan Peluncuran

Salah satu kekhawatiran utama adalah bahwa perusahaan teknologi besar terlibat dalam perlombaan untuk menguasai AI paling canggih — yang menurunkan prioritas terhadap aspek keamanan dan tata kelola.

Ketika tekanan kompetitif begitu tinggi, proses uji coba, audit dan mitigasi risiko bisa terganggu. Oleh sebab itu para penandatangan menyerukan jeda atau moratorium agar kita tidak terburu-buru menuju hasil yang tak terprediksi.

Kurangnya Transparansi & Tanggung Jawab

Banyak di antara perusahaan pengembang AI yang dianggap memiliki informasi sangat penting tentang sistem mereka — kemampuan, kelemahan, risiko — namun kewajiban untuk berbagi informasi tersebut kepada publik atau pemerintah sangat terbatas.

“Kami percaya pada potensi luar biasa dari AI, tapi juga memahami risiko serius yang ditimbulkannya… namun sampai saat ini perusahaan punya kewajiban yang sangat lemah untuk berbagi informasi penting,” demikian bunyi salah satu surat terbuka dari mantan karyawan perusahaan AI.

Apa yang Diminta dalam Seruan Ini?

Para penandatangan mendorong beberapa langkah konkret:

1. Penghentian sementara (moratorium) pengembangan AI yang bisa melampaui kecerdasan manusia sampai ada bukti nyata bahwa sistem tersebut aman.
2. Fokus terlebih dahulu pada pengembangan AI yang jelas manfaatnya — seperti di bidang kesehatan, pendidikan, dan lingkungan — tanpa mengejar “superintelligence” tanpa kontrol.
3. Meningkatkan investasi dalam penelitian keselamatan AI, etika, audit eksternal, serta prosedur pengawasan independen.
4. Melibatkan publik dan pembuat kebijakan dalam proses pengambilan keputusan terkait arah teknologi AI agar regulasi tidak tertinggal.

Dampak yang Mungkin Terjadi di Dunia Bisnis & Masyarakat

Jika seruan ini direspons serius, maka dunia teknologi bisa mengalami pergeseran signifikan:

1. Perusahaan mungkin akan menyesuaikan strategi riset dan pengembangan mereka, khususnya yang menyasar “agent” AI dengan kapasitas super manusia.
2. Regulasi atau tata kelola global bisa muncul lebih cepat, memaksa pelaku industri untuk lebih berhati-hati dan transparan.
3. Bagi masyarakat umum, regulasi yang lebih kuat berarti perlindungan yang lebih baik dari potensi dampak negatif, seperti bias algoritma, pelanggaran privasi, atau penyalahgunaan AI.

Namun ada juga kekhawatiran: beberapa pihak menilai bahwa moratorium atau regulasi terlalu cepat bisa mematikan inovasi dan membuat negara tertinggal dalam persaingan teknologi global.

Mengapa Ini Penting untuk Kita Semua?

Meskipun kita mungkin tidak sedang bekerja di lab AI atau startup teknologi, efek dari “superintelligence” akan terasa luas:

1. Pekerjaan dan ekonomi bisa terpengaruh jika sistem AI sangat canggih menggantikan banyak fungsi manusia.
2. Kebebasan dan privasi kita bisa terancam jika AI tidak dikontrol dengan baik.
3. Masa depan regulasi teknologi akan membentuk bagaimana generasi mendatang hidup, bekerja, dan berinteraksi.

Dengan kata lain, seruan ini bukan sekadar diskusi elit. Ia menyentuh bagaimana kita memperlakukan teknologi yang telah menjadi bagian dari kehidupan sehari-hari.

Siapkah Kita Mengendalikan Teknologi yang Kita Ciptakan?

Ketika 800+ tokoh publik menandatangani surat terbuka ini, salah satu pesan kuat mereka adalah: ini bukan soal menolak AI, tetapi menegaskan bahwa teknologi besar seperti ini harus dikembangkan dengan kebijaksanaan, bukan hanya kecepatan.

Satu pertanyaan yang tetap menggantung di udara adalah: Apakah dunia akan mengambil jeda dan membangun tata kelola yang matang — atau akan terus mengejar teknologi tanpa peta jalan yang jelas?

Karena jika kita menciptakan sistem yang lebih pintar dari diri kita, pertanyaan berikutnya bukan lagi “apakah”, tetapi “siapa yang mengendalikan siapa?".