Jacob Coxon left Anthropic over concerns about the rapid development of AI. What does his decision tell us about AI safety, competition, and the future of humanity?
Pinterest : ViktoriyaR
Jacob Coxon spent years helping build frontier AI. Then he decided the race was moving faster than our ability to control it.
Ada sesuaty yang menurut saya lebih mengganggu daripada membaca prediksi bahwa AI suatu hari bisa menjadi sangat berbahaya.
Yaitu ketika peringatan tersebut datang dari orang yang ikut membangun AI itu sendiri.
Pada September 2026, Jacob Coxon, seorang researcher yang sebelumnya bekerja di Open AI dan kemudian sekitar tiga tahun mengerjakan riset pretraining di OpenAI dan Anthropic, mengumumkan bahwa ia meninggalkan Anthropic. Alasannya bukan karena bosan, mendapat pekerjaan yang lebih baik, atau ingin membangun startup sendiri.
Ia pergi karena khawatir terhadap arah perkembangan artificial intelligence.
Dalam pernyataannya, Coxon menggambarkan perlombaan menuju AI yang semakin mampu dan mampu memperbaiki dirinya sendiri sebagai sesuatu yang menurutnya terlalu berisiko. Ia bahkan mengatakan bahwa orang-orang yang membangun teknologi tersebut sungguh percaya bahwa AI dapat menimbulkan konsekuensi yang sangat buruk bagi manusida dalam dekade ini.
Dan ada satu detail yang membuat keputusan ini terasa semakin serius.
Menurut Axios, Coxon meninggalkan Anthropic sekitar dua bulan sebelum sebagian equity yang ia miliki akan vested. Dengan kata lain, keputusan tersebut memiliki konsekuensi finansial nyata baginya.
Bagi saya, pertanyaan terbesarnya bukan:
💬 Komentar & Diskusi
"Apakah Jacob Coxon benar?"
Pertanyaan yang lebih menarik adalah:
"Apa yang membuat seseorang yang bekerja di dalam Industri AI sampai merasa harus keluar untuk memperingatkan orang lain?"
The Engineer Who Became Worried About His Own Creation
Coxon bukan pengamat teknologi dari luar.
Ia bukan seseorang yang hanya melihat AI dari headline media sosial kemudian tiba-tiba menyimpulkan bahwa dunia akan berakhir.
Ia pernah bekerja di OpenAI dan Anthropic-dua nama yang berada di garis depan pengembangan AI modern. Ketika itu, sudut pandangnya menarik.
Ia melihat perkembangan teknologi tersebut dari dekat.
Dalam wawancara dengan NPR, Coxon menjelaskan bahwa kekhawatirannya terutama berasal dari dua hal: kemampuan AI yang berkembang sangat cepat dan kenyataan bahwa manusia belum mengetahui bagaimana memastikan sistem yang jauh lebih mampu dapat dikendalikan dengan aman.
Ini membuat saya teringat pada sesuatu yang sering terjadi dalam sejarah teknologi.
Orang luar biasanya melihat produk akhirnya.
Orang yang berada di dalamnya justru melihat proses pembuatannya.
Dan terkadang, apa yang mereka lihat dari dalam jauh lebih kompleks daripada apa yang terlihat dari luar.
The Problem Isn't That AI Is "Evil"
Menurut saya, penting untuk tidak salah memahami kekhawatiran Coxon.
Ini bukan cerita sederhana tentang robot yang tiba-tiba menjadi jahat lalu memutuskan untuk menghancurkan manusia.
Masalah yang dibicarakan dalam AI Safety jauh lebih rumit.
Bayangkan kita memiliki sebuah sistem yang sangat pintar dan dapat diberi sebuah tujuan.
Jika kemampuan sistem tersebut meningkat jauh melampaui kemampuan manusia untuk memahami proses pengambilan keputusannya, masalahnya bukan hanya:
"Apakah AI itu jahat?"
Pertanyaan yang lebih sulit adalah:
"Apakah AI tersebut akan terus melakukan apa yang kita inginkan ketika kemampuan sudah jauh melampaui kita?"
Ini adalah inti dari problem yang sering disebut AI alignment.
Kita ingin AI melakukan aoa yang kita maksud.
Bukan sekedar apa yang kita tuliskan.
Bukan sekedar apa yang secara literal kita minta.
Dan bukan sekedar apa yang memberikan skor terbaik pada sebuah evaluasi.
From AI Assistant to AI Agent
Perkembangan AI beberapa tahun terakhir membuat diskusi ini menjadi semakin menarik.
Dulu, ketika saya membayangkan AI, saya membayangkan sebuah chatbot.
Saya mengetik pertanyaan.
AI menjawab.
Selesai.
Sekarang model AI semakin banyak digunakan sebagai agent yang dapat melakukan rangkaian tindakan untuk menyelesaikan sebuah tujuan.
Perubahan ini penting.
Karena ketika AI hanya menghasilkan teks, ruang tindakannya relatif terbatas.
Ketika AI mulai diberi kemampuan menggunakan berbagai tools, menjalankan tugas, membaca informasi, mengambil keputusan di antara beberapa langkah, dan bekerja secara lebih mandiri, pertanyaan keselamatannya ikut berubah.
Bukan lagi hanya:
Apakah jawabannya benar?"
Tetapi:
Apa yang akan dilakukan sistem ketika tidak ada manusia yang mengawasi setiap langkahnya?"
Dan di sinilah kekhawatiran Coxon menjadi relevan.
Ia mengatakan bahwa kemampuan AI berkembang cepat sementara kita masih belum memiliki solusi yang meyakinkan untuk memastikan sistem yang jauh lebih canggih tetap aman.
The Race Is the Problem
Ada satu bagian dari argumen Coxon yang menurut saya paling menarik.
Masalahnya mungkin bukan hanya AI.
Maaslahnya adalah perlombaan AI.
Bayangkan dua perusahaan sedang berlomba membuat teknologi yang lebih powerful.
Perusahaan A mempercepat riset karena takut perusahaan B lebih dulu mencapai terobosan besar.
Perusahaan B melakukan hal yang sama karena takut perusahaan A.
Kemudiaan perusahaan C masuk.
Lalu negara-negara mulai melihat teknologi tersebt sebagai bagian dari persaingan ekonomi dan geopolotik.
Tiba-tiba tidak ada satu pihak pun yang merasa nyaman untuk berhenti.
Karena berhenti berarti memberikan keunggulan kepada pihak lain.
Inilah yang oleh Coxon dipandang sebagai situasi berbahaya.
Dalam wawancaranya, ia menggunakan analogi The Lord of the Rings: setiap pihak mungkin merasa bahwa mereka harus mengambil "ring" tersebut karena kalau bukan mereka, orang lain yang akan mengambilnya. Masalahnya, semua orang akhirnya tetap ikut membawa resiko yang sama.
Saya pikir analogi ini cukup kuat.
Karena dalam perlombaan teknologi, niat baik satu perusahaan belum tentu cukup untuk mengubah dinamika kompetisi.
But Isn't Anthropic Supposed to Be the Safe One?
Di sinilah cerita ini menjadi semakin ironis.
Anthropic justru dikenal sebaga salah satu perusahaan AI yang sangat menekankan AI Safety.
Mereka membangun reputasi sebagai perusahaan yang serius mengenai risiko AI.
Lalu seorang researcher di dalam perusahaan tersebut keluar dan mengatakan bahwa perkembangan AI terlalu beresiko.
Menurut Axios, Coxon bahkan meninggalkan perusahaan sebelum equity-nya vested karena ia tidak ingin memperoleh keuntungan finansial dari pertumbuhan valuasi perusahaan yang menurutnya sedang bergerak ke arah yang berbahaya.
Saya tidak membaca ini sebagai bukti bahwa Anthropic adalah perusahaan yang buruk.
Justru sebaliknya.
Ini menunjukkan betapa sulitnya masalah yang sedang mereka hadapi.
Sebuah perusahaan bisa benar-benar peduli terhadap safety dan pada saat yang sama tetap berada dalam tekanan untuk membuat model yang lebih powerful.
Karena mereka bukan satu-satunya pemain.
The Uncomfortable Question: Why Keep Bulding It?
Ada pertanyaan yang menurut saya sangat wajar:
Kalau para researcher benar-benar takut AI menjadi berbahaya, mengapa mereka masih membangunnya?
Coxon sendiri mencoba menjawab paradoks tersebut.
Jika satu perusahaan berhenti tetapi perusahaan lain tetap melanjutkan, perusahaan yang berhenti mungkin merasa bahwa mereka hanya menyerahkan teknologi tersebut kepada pihak yang belum tentu lebih bertanggung jawab.
Maka mucul logika:
"Kalau teknologi ini akan dibuat juga, lebih baik kita yang membuatnya dengan aman."
Masalahnya adalah semua perusahaan bisa berpikir seperti itu.
Dan akhirnya perlombaan tetap berjalan.
Menurut Coxon, inilah salah satu alasan mengapa ia menganggap perlombaan tersebut berbahaya.
Ini bukan masalah sederhana antara orang baik versus orang jahat.
Ini adalah masalah sensitif.
Are Today's AI Systems Already Dangerous?
Di bagian ini saya ingin berhati-hati.
Karena sangat mudah membuat artikel AI berubah menjadi film science fiction.
AI saat ini memang sudah mampu melakukan banyak hal yang beberapa tahun lalu terasa luar biasa.
Tetapi itu tidak berarti kita sudah memiliki mesin superintelligence yang tidak dapat dikendalikan.
Coxon sendiri membedakan antara risiko dari model saat ini dan risiko yang ia khawatirkan dari AI yang jauh lebih maju, terutama jika sistem tersebut mampu melakukan self-improvement secara berulang.
Jadi ketika kita membaca headline:
AI bisa membunuh manusia.""
Kita perlu berhenti sebentar.
Itu bukan fakta bahwa kejadian tersebut pasti akan terjadi.
Itu adalah peringatan tentang sebuah kemungkinan.
Dan kemungkinan tersebut masih menjadi bahan perdebatan serius di kalangan peneliti AI.
Associated Press mencatat bahwa tidak ada konsensus di antara para ahli mengenai kemungkinan maupun skenario bencana semacam itu akan terjadi.
Menurut saya, perbedaan ini penting.
Kita tidak perlu panik.
Tapi kita juga tidak perlu menertawakan kekhawatirannya.
What if Warning Is Partly Right?
Saya justru tertarik pada pertanyaan yang lebih sederhana.
Bagaimana jika Coxon tidak sepenuhnya benar?
Bagaimana jika probabilitas yang ia khawatirkan jauh lebih kecil?
Misalnya ternyata AI tidak pernah mencapai skenario ekstrem yang ia bayangkan.
Apakah berarti semua usaha safety menjadi sia-sia?
Menurut saya tidak.
Karena safety bukan hanya tentang mencegah kiamat.
AI yang lebih powerful tetap membutuhkan perlindungan terhadap penyalahgunaan, kesalahan, manipulasi, kebocoran data, keputusan buruk, dan berbagai bentuk kegagalan lain.
Sebuah teknologi tidak harus menghancurkan dunia untuk menjadi berbahaya.
Sistem yang salah mengambil keputusan dalam sekala besar saja sudah cukup menjadi masalah.
Karena itu, saya melihat diskusi AI safety bukan sebagai:
"Apakah kita percaya kiamat AI?"
Tetapi:
"Seberapa serius kita seharusnya menguji teknologi sebelum memberikan lebih banyak kekuasaan kepadanya?"
AI berkembang dengan laju yang jauh lebih cepat daripada kemampuan manusia membuat aturan untuk mengendalikannya (Foto : Getty Images)
Maybe the Real Problem Is Speed
Semakin saya mengikuti perkembangan AI, semakin saya merasa bahwa kata yang paling penting dalam diskui ini bukan intelligence.
Melainkan Speed.
Ai berkembang sangat cepat.
Kemampuan model meningkat.
Agent menjadi lebih autonomous.
Tools semakin banyak.
Komputasi semakin besar.
Investasi semakin besar.
Dan perusahaan memiliki tekanan ekonomi untuk terus bergerak.
Sementara itu, proses pembuatan aturan, memahami konsekuensi sosial, melakukan evaluasi independen, dan membangun mekanisme keselamatan biasanya jauh leboh lambat.
Ada ketidakseimbangan di sana.
Teknologinya berlari.
Governance berjalan.
Dan pertanyaannya adalah apakah jarak antar keduanya akan semakin besar.
Then Anthropic's CEO Said Something Interesting
Ironisnya, beberapa hari setelah kontroversi Coxon mencuat, CEO Anthropic Dario Amodei menyerukan agar laju perkembangan AI diperlambat dan mengusulkan mekanisme seperti evaluasi keselamatan oleh pihak ketiga serta kerja sama internasional.
Ini membuat situasinya menjadi jauh lebih menarik.
Dario Amodei. Photographer: Stefan Wermuth/Bloomberg via Getty Images
"Ada seorang mantan researcher yang paranoid."
Ada diskusi yang lebih luas di antara orang-orang yang justru berada di pusat industri AI mengenai seberapa cepat teknologi ini seharusnya dikembangkan.
Tentu saja, tidak berarti semua orang sepakat dengan Coxon.
Ada juga banyak pihak yang menganggap prediksi tentang kehancuran manusia selalu spekulatif atau terlalu dramatis.
Dan menurut saya, posisi skeptis seperti itu juga layak didengar.
I Don't Think We Sholud Stop AI
Sebagai seseorang yang menggunakan AI hampir setiap hari, saya tidak bisa berpura-pura bahwa saya ingin teknologi ini berhenti.
Justru sebaliknya.
Saya melihat sendiri bagaimana AI bisa membantu manusia belajar lebih cepat, membuat software, menganalisis informasi, menjelaskan konsep yang sulit, dan memberikan akses terhadap kemampuan yang sebelumnya hanya dimiliki orang-orang dengan keahlian tertentu.
Saya adalah salah satu orang yang mendapatkan manfaat tersebut.
Karena itu saya tidak tertarik dengan narasi:
"AI buruk, Mari kita hentikan AI."
Menurut saya itu terlalu sederhana.
Saya lebih tertarik pada pertanyaan:
"Bagaimana kita memastikan kemampuan AI tumbuh bersama kemampuan manusia untuk mengendalikannya?"
Itu jauh lebih sulit.
Dan jauh lebih penting.
The Strange Courage of Walking Away
Ada satu bagian dari kisah Jacob Coxon yang menurut saya paling manusiawi.
Dia tidak sekedar mengatakan:
"AI berbahaya."
Dia memilih untuk meninggalkan tempat di mana ia ikut membangun teknologi tersebut.
Menurut laporan Axios, keputusan itu bahkan membuatnya kehilangan kesempata memperoleh equity yang akan segera vested.
Saya tidak tahu apakah Coxon nantinya akan terbukti benar.
Mungkin lima tahun dari sekarang kita akan melihat peringatannya sebagai seuatu yang teralu pesimistis.
Mungkin juga kita akan melihat kembali tahun 2026 dan berkata:
"Seharusnya kita mendengarkan lebih serius.""
Tidak ada yang tahu.
Dan mungkin justru karena itulah peringatan tersebut layak dibicarakan.
The People Bulding AI Are Also Human
Kadang-kadang kita membicarakan AI seolah-olah teknologi ini berdiri sendiri.
Padahal di balik setiap mmodel ada peran besar manusia:
Ada Researcher
Ada Engineer,
Ada CEO,
Ada investor,
Ada pemerintah,
Ada guru,
Ada siswa.
Dan akhirnya ada masyarakat yang akan hidup bersama konsekuensi dari keputusan mereka.
Jacob Coxon mengingatkan saya pada sesuatu yang sederhana:
orang yang membangun teknologi juga bisa takut terhadap teknologi yang mereka bangun.
Dan rasa takut tersebut tidak otomatis berarti mereka benar.
Tetapi juga tidak otomatis berarti mereka salah.
So, Should We Be Afraid?
Saya tidak tahu.
Dan saya rasa jawaban jujur memang harus seperti itu.
Saya tidak percaya bahwa kita harus menjalani hidup dengan ketakutan bahwa AI akan menghancurkan manusia dalam beberapa tahun.
Tetapi saya juga tidak nyaman dengan gagasan bahwa kita harus terus meningkatkan kemampuan AI hanya karena "kalau bukan kita, orang lain yang akan melakukannya."
Itu bukan strategi keselamatan.
Itu perlombaan.
Dan perlombaan membutuhakn aturan.
Maybe the Question Is Not "Will AI Kill Us?"
Judul-judul berita sering membuat kita terjebak pada pertanyaan:
"Apakah AI akan membunuh manusia?"
Menurut saya, pertanyaan itu terlalu besar.
Ada pertanyaan yang jau lebih berguna:
Apakah manusia mampu mengembangkan AI lebih cepat daripada kita mengembangkan kemampuan untuk mengendalikannya?"
Kalau jawabannya ya, kita memiliki masalah.
Bukan karena AI harus menjadi jahat.
Bukan karena AI harus memiliki kebencian terhadap manusia.
Tetapi karena kita mungkin memberikan kemampuan yang semakin besar kepada sistem yang belum sepenuhnya kita pahami.
We Don't Need to Panic. We Need to Pay Attention.
Saya tidak melihat kisah Jacob Coxon sebagai alasan untuk berhenti menggunakan AI.
Justru sebaliknya.
Saya melihatnya sebagai alasan untuk menggunakan AI dengan kesadaran yang lebih tinggi.
Sebagai guru, saya ingin siswa belajar coding.
Saya ingin mereka menggunakan AI.
Saya ingin mereka bereksperimen.
Saya ingin mereka membangun sesuatu.
Tetapi saya juga ingin mereka memahami satu hal:
kemampuan membuat sesuatu tidak sama dengan kemampuan memahami konsekuensinya.
AI mungkin membuat kita mampu membangun lebih cepat.
Karena itu, kemampuan manusia untuk berpikir kritis justru menjadi semakin penting.
Mungkin di masa depan kita tidak hanya membutuhkan orang yang mampu membuat AI.
Kita membutuhkan orang yang mampu bertanya:
"Harusnya kita membuatnya?"
"Bagaimana kita mengujinya?"
"Apa yang terjadi kalau kita salah?"
Dan yang paling sulit:
Kapan kita harus berhenti?"
The Researcher Who Walked Away
Saya tidak tahu pakah Jacob Coxon akan tercatat dalam sejarah sebagai seseorang yang melihat masa depan dengan tepat atau sebagai seseorang yang terlalu takut terhadap kemungkinan terburuk.
Terlalu dini untuk mengetahuinya.
Tetapi ada sesuatu yang menurut saya layak kita ingat dari kisah ini.
Peringatan paling menarik tentang AI mungkin bukan datang dari orang yang membenci teknologi.
Justru mungkin datang dari orang yang mengerti teknologi tersebut terlalu baik.
Coxon menghabiskan waktunya di dalam industri yang sedang membangun masa depan AI.
Lalu dia memilih keluar.
Bukan karena dia berhenti percaya pada teknologi.
Tetapi karena menurutnya, manusia mungkin sedang bergerak terlalu cepat menuju sesuatu yang belum benar-benar kita pahami.
Dan bagi saya, itulah bagian paling menarik dari cerita ini.
Bukan pertanyaan apakah AI akan menghancurkan manusia.
Tetapi pertanyaan yang jauh lebih sederhana:
Apa yang terjadi ketika orang-orang yang membangun masa depan mulai khawatir terhadap arah masa depan itu sendiri?
Mungkin kita belum memiliki jawabannya.
Tapi mungkin sekarang adalah waktu yang tepat untuk mulai bertanya.
"The most interesting AI warnings may not come from people who hate AI, but from people who helped build it."
Catatan : Coxon mengumumkan pengunduran dirinya pada September 2026 dan mengaitkannya dengan kekhawatiran atas percepatan kemampuan AI dan kurangnya kepastian bahwa sistem yang jauh lebih maju dapat dikendalikan dengan aman. Laporan tantang pernyataannya datang dari sejumlah media, termasuk TechCrunch, NPR, Axios, WIRED, dan AP. Klaim ekstrem mengenai kemungkinan kepunahan manusia merupakan peringatan/pandangan Coxon dan beberapa peneliti, bukan konsensus ilmiah. (sumber : https://techcrunch.com/2026/09/09/gambling-with-our-lives-anthropic-researcher-quits-warns-against-self-improving-ai)
