Pada hari Selasa minggu ini, ahli saraf, pendiri dan penulis Gary Marcus duduk di antara CEO OpenAI Sam Altman dan Christina Montgomery, yang slot demo merupakan kepala petugas kepercayaan privasi IBM, saat ketiganya bersaksi di depan Komite Kehakiman Senat selama lebih dari tiga jam. Para senator sebagian besar terfokus pada Altman karena dia menjalankan salah satu perusahaan paling kuat di planet ini saat ini, dan karena Altman telah berulang kali meminta mereka membantu mengatur pekerjaannya. (Kebanyakan CEO memohon Kongres untuk meninggalkan industri mereka sendirian.)
Meskipun Marcus telah dikenal di kalangan akademis selama beberapa waktu, bintangnya telah meningkat akhir-akhir ini berkat buletinnya (“The Road to AI We Can Trust“), podcast (“Humans vs. Machines”), dan hubungannya dengan kegelisahan seputar kebangkitan AI yang tidak terkendali. Selain sidang minggu ini, misalnya, dia bulan ini muncul di televisi Bloomberg dan tampil di New York Times Sunday Magazine dan Wired di antara tempat-tempat lain.
Karena sidang minggu ini tampaknya benar-benar bersejarah — Senator Josh Hawley mencirikan AI sebagai “salah satu inovasi paling berteknologi dalam sejarah manusia,” sementara Senator John Kennedy sangat terpesona oleh Altman sehingga dia meminta Altman untuk memilih regulatornya sendiri — kami ingin berbicara dengan Marcus juga untuk mendiskusikan pengalaman dan melihat apa yang dia ketahui tentang apa yang terjadi selanjutnya.
Apakah Anda masih di Washington?
Saya masih di Washington. Saya bertemu dengan anggota parlemen dan staf mereka dan berbagai orang menarik lainnya dan mencoba melihat apakah kita dapat mengubah hal-hal yang saya bicarakan menjadi kenyataan.
Anda telah mengajar di NYU. Anda telah ikut mendirikan beberapa perusahaan AI, termasuk salah satunya dengan ahli robot terkenal Rodney Brooks. Saya mewawancarai Brooks di atas panggung pada tahun 2017 dan dia berkata kemudian dia tidak berpikir Elon Musk benar-benar memahami AI dan dia pikir Musk salah bahwa AI adalah ancaman eksistensial.
Saya pikir Rod dan saya berbagi skeptisisme tentang apakah AI saat ini seperti kecerdasan umum buatan. Ada beberapa masalah yang harus Anda pisahkan. Salah satunya adalah: apakah kita dekat dengan AGI dan yang lainnya adalah seberapa berbahayakah AI yang kita miliki saat ini? Saya tidak berpikir AI yang kita miliki saat ini adalah ancaman eksistensial tetapi itu berbahaya. Dalam banyak hal, saya pikir itu adalah ancaman bagi demokrasi. Itu bukan ancaman bagi kemanusiaan. Itu tidak akan memusnahkan semua manusia. Tapi itu risiko yang cukup serius.
Belum lama ini, Anda berdebat Yann LeCun, kepala ilmuwan AI Meta. Saya tidak yakin apa penutup itu adalah tentang – signifikansi sebenarnya dari jaringan saraf pembelajaran mendalam?
Jadi LeCun dan saya sebenarnya telah memperdebatkan banyak hal bertahun-tahun. Kami mengadakan debat publik yang dimoderatori oleh David Chalmers, sang filsuf, pada tahun 2017. [LeCun] untuk memiliki debat nyata lainnya sejak saat itu dan dia tidak akan melakukannya. Dia lebih suka men-subtweet saya di Twitter dan hal-hal seperti itu, yang menurut saya bukan cara percakapan yang paling dewasa, tetapi karena dia adalah tokoh penting, saya merespons.
Satu hal yang saya pikir kami tidak setuju [currently] adalah, menurut LeCun tidak apa-apa menggunakan ini [large language models] dan bahwa tidak ada kemungkinan bahaya di sini. Saya pikir dia sangat salah tentang itu. Ada potensi ancaman terhadap demokrasi, mulai dari misinformasi yang sengaja dibuat oleh oknum, hingga misinformasi yang tidak disengaja – seperti dosen hukum yang dituduh melakukan pelecehan seksual padahal tidak melakukannya – [to the ability to] secara halus membentuk keyakinan politik orang berdasarkan data pelatihan yang bahkan tidak diketahui oleh publik. Ini seperti media sosial, tetapi bahkan lebih berbahaya. Anda juga dapat menggunakan alat ini untuk memanipulasi orang lain dan mungkin mengelabui mereka menjadi apa pun yang Anda inginkan. Anda dapat menskalakannya secara besar-besaran. Pasti ada risiko di sini.
Anda mengatakan sesuatu yang menarik tentang Sam Altman pada hari Selasa, memberi tahu para senator bahwa dia tidak memberi tahu mereka apa ketakutan terburuknya, yang Anda sebut “ermane”, dan mengarahkan mereka kepadanya. Apa yang masih tidak dia katakan adalah sesuatu yang berkaitan dengan senjata otonom, yang saya bicarakan dengannya beberapa tahun yang lalu sebagai perhatian utama. Saya pikir menarik bahwa senjata tidak muncul.
Kami membahas banyak hal, tetapi ada banyak hal yang tidak kami lakukan, termasuk penegakan, yang sangat penting, dan keamanan nasional serta senjata otonom dan hal-hal seperti itu. Akan ada beberapa lagi [these].
Apakah ada pembicaraan tentang open source versus sistem tertutup?
Itu hampir tidak muncul. Ini jelas pertanyaan yang sangat rumit dan menarik. Benar-benar tidak jelas apa jawaban yang tepat. Anda ingin orang melakukan sains independen. Mungkin Anda ingin memiliki semacam lisensi seputar hal-hal yang akan digunakan dalam skala yang sangat besar, tetapi hal itu membawa risiko tertentu, termasuk risiko keamanan. Tidak jelas apakah kami ingin setiap aktor jahat mendapatkan akses ke alat yang sangat kuat. Jadi ada argumen untuk dan ada argumen yang menentang, dan mungkin jawaban yang tepat akan mencakup mengizinkan tingkat open source yang adil tetapi juga memiliki beberapa batasan tentang apa yang dapat dilakukan dan bagaimana hal itu dapat diterapkan.
Adakah pemikiran khusus tentang strategi Meta untuk membiarkan model bahasanya keluar ke dunia untuk diutak-atik orang?
Saya tidak berpikir itu bagus [Meta’s AI technology] Sejujurnya, LLaMA ada di luar sana. Saya pikir itu sedikit ceroboh. Dan, Anda tahu, itu adalah salah satu jin yang keluar dari botol. Tidak ada infrastruktur hukum yang tersedia; mereka tidak berkonsultasi dengan siapa pun tentang apa yang mereka lakukan, sejauh yang saya tidak tahu. Mungkin memang begitu, tetapi proses pengambilan keputusan dengan itu atau, katakanlah, Bing, pada dasarnya adil: sebuah perusahaan memutuskan kami akan melakukan ini.
Tetapi beberapa hal yang diputuskan oleh perusahaan dapat merugikan, baik dalam waktu dekat maupun dalam jangka panjang. Jadi saya pikir pemerintah dan ilmuwan harus semakin berperan dalam memutuskan apa yang terjadi di luar sana [through a kind of] FDA untuk AI di mana, jika Anda ingin melakukan penyebaran luas, pertama Anda melakukan uji coba. Anda berbicara tentang manfaat biaya. Anda melakukan percobaan lain. Dan pada akhirnya, jika kita yakin bahwa manfaatnya lebih besar daripada risikonya, [you do the] rilis dalam skala besar. Tetapi saat ini, perusahaan mana pun kapan saja dapat memutuskan untuk menerapkan sesuatu kepada 100 juta pelanggan dan melakukannya tanpa pengawasan pemerintah atau ilmiah apa pun. Anda harus memiliki beberapa sistem di mana beberapa otoritas yang tidak memihak dapat masuk.
Dari mana datangnya otoritas yang tidak memihak ini? Bukankah semua orang yang tahu tentang cara kerja hal-hal ini sudah bekerja untuk perusahaan?
Saya tidak. [Canadian computer scientist] Yoshua Bengio tidak. Ada banyak ilmuwan yang tidak bekerja untuk perusahaan-perusahaan ini. Ini adalah kekhawatiran yang nyata, bagaimana mendapatkan cukup dari para auditor itu dan bagaimana memberi mereka insentif untuk melakukannya. Tapi ada 100.000 ilmuwan komputer dengan beberapa keahlian di sini. Tidak semuanya bekerja untuk Google atau Microsoft berdasarkan kontrak.
Apakah Anda ingin berperan dalam agensi AI ini?
Saya tertarik, saya merasa bahwa apa pun yang kita bangun harus bersifat global dan netral, mungkin nirlaba, dan saya pikir saya memiliki suara yang baik dan netral di sini yang ingin saya bagikan dan mencoba membawa kita ke tempat yang baik.
Bagaimana rasanya duduk di hadapan Komite Kehakiman Senat? Dan apakah menurut Anda Anda akan diundang kembali?
Saya tidak akan terkejut jika saya diundang kembali tetapi saya tidak tahu. Saya sangat tersentuh olehnya dan saya sangat terharu berada di ruangan itu. Ini sedikit lebih kecil daripada di televisi, saya kira. Tapi rasanya semua orang ada di sana untuk mencoba melakukan yang terbaik untuk AS – untuk kemanusiaan. Semua orang tahu beratnya momen itu dan bagaimanapun juga, para senator menampilkan permainan terbaik mereka. Kami tahu bahwa kami ada di sana karena suatu alasan dan kami memberikan yang terbaik.