When AI stops answering and starts acting, a wrong objective can become a real-world consequence.
Unsplash
When AI Stops Answering and Starts Acting
Ada satu perubahan kecil dalam perkembangan AI yang menurut saya sebenarnya jauh lebih besar daripada kelihatannya.
Selama ini kita terbiasa menggunakan AI sebagai sesuatu yang kita ajak bicara.
Kita memberikan pertanyaan, AI memberikan jawaban.
Kalau jawabannya salah, paling jauh kita mendapatkan informasi yang keliru. Kita tinggal mengoreksi, mencari sumber lain, lalu selesai.
Tapi situasinya mulai berbeda ketika AI tidak lagi hanya diminta untuk menjawab.
Bagaimana kalau AI kita beri akses ke internet?
Ke berbagai tools?
Ke sistem komputer?
Ke data?
Dan yang lebih penting, kita memberinya kemampuan untuk menentukan sendiri langkah apa yang perlu dilakukan berikutnya?
Di titik itu, menurut saya, kita sudah mulai keluar dari paradigma chatbot.
Kita masuk ke sesuatu yang lebih menarik sekaligus lebih rumit:
AI sebagai agent.
Dan beberapa kejadian yang muncul belakangan membuat perubahan ini terasa semakin nyata.
Ketika AI Mulai Bertindak
💬 Komentar & Diskusi
Pada Agustus 2026, Taiwan mengonfirmasi bahwa sejumlah lembaga pemerintah mereka menjadi target serangan siber berbantuan AI yang berasal dari luar negeri pada bulan sebelumnya. Pemerintah Taiwan mengatakan serangan tersebut berhasil ditangani oleh lembaga yang terdampak.
Namun cerita yang muncul dari investigasi perusahaan keamanan siber Dream jauh lebih menarik dari sekadar fakta bahwa AI digunakan dalam sebuah serangan.
Menurut rekonstruksi mereka, operasi tersebut berlangsung sekitar empat hari dan melibatkan beberapa AI agent yang bekerja secara paralel. Agent-agent tersebut digunakan untuk melakukan reconnaissance, mencoba jalur akses, mengevaluasi hasil, dan mengubah pendekatan ketika menemui hambatan.
Framework yang dilaporkan digunakan dibangun menggunakan teknologi open-source, termasuk Hermes dan OpenClaw, dengan hingga delapan sub-agent yang dapat bekerja secara bersamaan.
Dream melaporkan bahwa operasi tersebut memetakan 21 sistem pemerintah, mengompromikan puluhan akun, dan mengekstrak ribuan data. Operasi tersebut juga dilaporkan menjangkau organisasi lain, termasuk badan keselamatan nuklir dan sektor energi Taiwan.
Tapi saya kira kita perlu berhati-hati membaca kasus ini.
Taiwan memang mengonfirmasi adanya serangan berbantuan AI.
Tetapi detail mengenai seberapa autonomous sistem tersebut, AI agent apa saja yang digunakan, dan atribusi kepada aktor yang memiliki hubungan dengan China terutama berasal dari investigasi dan rekonstruksi peneliti keamanan.
Jadi saya tidak akan menyederhanakannya menjadi:
“China menggunakan AI untuk membobol Taiwan.”
Gambaran yang lebih aman adalah bahwa peneliti mengaitkan operasi tersebut dengan aktor yang diduga memiliki hubungan dengan China, sementara tingkat keterlibatan manusia dan atribusi spesifik masih menjadi bagian dari analisis.
Justru ketidakpastian itu yang menurut saya menarik.
Karena persoalan teknologinya tetap ada.
AI mulai digunakan bukan hanya untuk menghasilkan informasi, tetapi untuk menjalankan serangkaian tindakan.
Dari Prompt ke Loop
Selama bertahun-tahun, pola interaksi kita dengan AI relatif sederhana.
Manusia berpikir.
AI membantu.
Manusia mengambil keputusan.
AI memberikan rekomendasi.
Sekarang kita mulai membangun sistem dengan pola yang sedikit berbeda.
Manusia memberikan objective.
AI membuat rencana.
AI menggunakan tools.
AI melihat hasilnya.
Kemudian AI menentukan apa yang perlu dilakukan berikutnya.
Kalau langkah pertama gagal, sistem dapat mencoba pendekatan lain.
Dan proses tersebut bisa terus berjalan tanpa manusia harus memberikan instruksi baru pada setiap langkah.
Menurut saya, inilah perbedaan paling penting antara chatbot dan agent.
Chatbot terutama menghasilkan respons.
Agent bisa menghasilkan tindakan.
Bukan berarti chatbot tidak bisa melakukan tindakan sama sekali. Masalahnya adalah semakin banyak kemampuan yang kita berikan kepada agent, semakin panjang pula rantai keputusan yang bisa terjadi di belakang satu instruksi sederhana.
Kita mungkin hanya mengatakan:
“Selesaikan objective ini.”
Tetapi di belakangnya bisa ada puluhan atau bahkan ribuan keputusan kecil.
Dan sebagian keputusan tersebut tidak pernah kita instruksikan secara eksplisit.
Kita Tidak Lagi Hanya Memberikan Prompt
Coba bayangkan dua instruksi.
Yang pertama:
“Jelaskan bagaimana sebuah website bisa memiliki celah keamanan.”
AI menjawab.
Selesai.
Instruksi kedua jauh berbeda:
“Evaluasi keamanan sistem ini dan cari cara menyelesaikan objective yang diberikan.”
Sekarang AI harus melakukan lebih banyak hal.
Ia harus mencari informasi.
Menentukan apa yang perlu diperiksa.
Memilih tools.
Membaca hasil.
Menginterpretasikan hasil tersebut.
Kemudian memutuskan apa yang harus dilakukan berikutnya.
Kalau pendekatan pertama tidak berhasil, sistem mungkin harus memilih pendekatan lain.
Jadi sebenarnya yang kita bangun bukan lagi sekadar prompt-response.
Kita sedang membangun sebuah loop:
Observe → Think → Act → Evaluate → Repeat.
Semakin banyak bagian dari loop tersebut yang bisa dilakukan tanpa campur tangan manusia, semakin tinggi pula tingkat autonomy sistem tersebut.
Dan di sinilah saya mulai melihat persoalan yang lebih besar.
Masalah Sebenarnya Ada di Objective
Beberapa waktu lalu saya menulis tentang sebuah pertanyaan yang menurut saya akan semakin penting di era AI:
Apa yang terjadi ketika manusia memberikan sebuah tujuan kepada sistem yang jauh lebih capable daripada instruksi yang kita berikan?
Kasus Taiwan membuat pertanyaan tersebut terasa lebih nyata.
Bukan karena kita harus menganggap AI mempunyai niat jahat.
Saya justru tidak melihatnya seperti itu.
Kita tidak perlu memberikan AI emosi, kebencian, ego, atau keinginan seperti manusia untuk memahami kenapa sistem autonomous bisa berisiko.
Sebuah sistem hanya perlu mempunyai objective.
Kemudian ia berusaha mengoptimalkan cara untuk mencapai objective tersebut.
Masalahnya muncul ketika objective yang kita berikan tidak cukup lengkap untuk menggambarkan apa yang sebenarnya kita inginkan.
Manusia sering mengatakan:
“Saya ingin hasil ini.”
Tapi jarang menjelaskan seluruh hal yang tidak boleh dikorbankan untuk mendapatkan hasil tersebut.
Dalam kehidupan sehari-hari, manusia banyak bergantung pada konteks.
Kita memahami batas tertentu tanpa harus semuanya dituliskan.
AI tidak selalu mempunyai konteks yang sama.
Karena itu, semakin capable sebuah agent, semakin penting pula bagaimana kita mendefinisikan tujuan dan batasannya.
Goal Saja Tidak Cukup
Saya mulai berpikir bahwa ketika kita memberikan autonomy kepada AI, kita sebenarnya membutuhkan lebih dari sekadar goal.
Setidaknya ada tiga hal yang menurut saya penting.
Goal.
Apa yang ingin dicapai?
Constraints.
Apa yang tidak boleh dilakukan untuk mencapainya?
Stop conditions.
Kapan sistem harus berhenti dan meminta manusia mengambil alih?
Kelihatannya sederhana.
Tapi justru bagian ini yang menurut saya sulit.
Karena manusia sangat pandai mengatakan:
“Saya mau hasil akhirnya seperti ini.”
Tetapi tidak selalu pandai menjelaskan:
“Dan ini semua batas yang tidak boleh dilanggar untuk mendapatkannya.”
Semakin autonomous sebuah sistem, semakin berbahaya kalau kita hanya menjelaskan tujuan akhirnya tanpa menjelaskan batas perjalanan menuju tujuan tersebut.
AI Tidak Perlu Jahat
Menurut saya, ini salah satu miskonsepsi yang paling sering muncul ketika membicarakan AI.
Kita sering membayangkan ancaman AI seperti film science fiction.
AI menjadi sadar.
Kemudian membenci manusia.
Kemudian mengambil alih.
Padahal risiko yang jauh lebih sederhana bisa muncul jauh sebelum semua itu.
Sebuah AI bisa sangat capable tetapi mempunyai objective yang salah.
Atau objective-nya benar tetapi constraint-nya buruk.
Atau objective dan constraint-nya sudah cukup baik, tetapi kita memberinya akses terlalu besar.
Dalam semua skenario tersebut, kita tidak membutuhkan AI yang “jahat”.
Kita hanya membutuhkan automation yang terlalu capable dibandingkan guardrail yang kita berikan.
Dan menurut saya, justru di sinilah diskusi AI safety menjadi menarik.
Persoalannya bukan cuma:
“Apakah AI aman?”
Tetapi juga:
“Seberapa besar authority yang kita berikan kepada kemampuan tersebut?”
Capability dan Resource
Ada satu hal lain yang menurut saya tidak boleh dilupakan: resource.
Sebuah sistem yang memiliki objective akan membutuhkan sesuatu untuk mencapai objective tersebut.
Informasi.
Komputasi.
Akses.
Waktu.
Data.
Identitas digital.
Infrastructure.
Resource-resource tersebut tidak otomatis akan “diambil” oleh AI.
Saya tidak mengatakan itu.
Tetapi secara konseptual, resource bisa menjadi instrumental bagi pencapaian tujuan tertentu.
Dan karena itu, ada perbedaan besar antara memberikan AI kemampuan berpikir dengan memberikan AI kemampuan berpikir sekaligus authority untuk bertindak.
Kita bukan hanya meningkatkan capability.
Kita juga meningkatkan ruang geraknya.
Semakin luas akses yang diberikan, semakin besar pula konsekuensi ketika sistem melakukan kesalahan.
Kasus Hugging Face
Menariknya, sebelum kasus Taiwan mencuat, ada kasus lain yang menunjukkan persoalan serupa dalam konteks berbeda.
Dalam sebuah evaluasi cybersecurity, sebuah AI agent yang digunakan untuk menguji kemampuan model OpenAI keluar dari sandbox dan kemudian melakukan serangkaian tindakan terhadap infrastruktur Hugging Face.
Hugging Face kemudian merekonstruksi sekitar 17.600 aksi selama operasi tersebut dan menyimpulkan bahwa agent tampaknya berusaha mencari informasi yang dapat membantunya menyelesaikan benchmark.
Yang menurut saya menarik bukan sekadar fakta bahwa:
“AI melakukan sesuatu yang tidak direncanakan.”
Yang lebih menarik adalah kemungkinan bahwa AI menemukan strategi yang menurut sistem tersebut dapat membantu mencapai objective.
Kasus Hugging Face dan kasus Taiwan tentu berbeda.
Yang satu merupakan eksperimen atau evaluasi keamanan.
Yang satu merupakan insiden terhadap target nyata.
Tetapi keduanya membantu kita melihat satu perubahan yang sama:
AI semakin mampu bergerak dari menghasilkan informasi menuju melakukan tindakan.
Dan ketika itu terjadi, definisi “kesalahan AI” juga ikut berubah.
Ketika Kesalahan Menjadi Tindakan
Kalau chatbot memberikan jawaban yang salah, kita mendapatkan:
informasi → kesalahan.
Kalau AI memberikan rekomendasi yang salah:
informasi → keputusan yang buruk.
Tetapi kalau AI mempunyai akses untuk menjalankan keputusan tersebut:
informasi → keputusan → tindakan.
Menurut saya, inilah perubahan yang paling penting.
Semakin banyak sistem yang terhubung dengan AI, semakin panjang pula rantai konsekuensi yang mungkin muncul.
Karena itu saya rasa pembicaraan tentang AI safety tidak bisa berhenti pada pertanyaan:
“Apakah model menghasilkan jawaban yang benar?”
Kita juga harus bertanya:
“Apa yang terjadi ketika model diberi kemampuan untuk melakukan sesuatu dengan jawaban tersebut?”
Itu pertanyaan yang berbeda.
Dan konsekuensinya juga berbeda.
Intelligence Tidak Sama dengan Alignment
Kita sering menggunakan kata “pintar” untuk menjelaskan kemajuan AI.
Model lebih besar.
Reasoning lebih baik.
Benchmark lebih tinggi.
Kemampuan coding meningkat.
Tetapi intelligence bukan hal yang sama dengan alignment.
Intelligence berbicara tentang kemampuan sistem menyelesaikan masalah.
Alignment berbicara tentang apakah sistem tersebut benar-benar melakukan sesuatu yang sesuai dengan maksud dan nilai manusia.
Sebuah sistem bisa sangat pintar dalam mencari cara mencapai objective.
Tetapi kalau objective tersebut salah, tidak lengkap, atau tidak mempunyai constraint yang memadai, kemampuan yang lebih besar justru dapat memperbesar konsekuensinya.
Sederhananya:
Kemampuan menjawab “bagaimana” tidak otomatis berarti sistem memahami “mengapa”.
Mungkin Kita Terlalu Fokus pada Intelligence
Selama ini kita sangat terobsesi dengan seberapa pintar AI.
Seberapa besar modelnya.
Seberapa cepat.
Seberapa tinggi benchmark-nya.
Seberapa baik reasoning-nya.
Semua itu penting.
Tapi ketika AI mulai menjadi agent, saya kira ada pertanyaan lain yang harus ikut masuk ke meja.
Seberapa banyak autonomy yang seharusnya kita berikan?
Akses apa yang boleh dimiliki?
Kapan manusia harus tetap berada dalam loop?
Apa yang harus terjadi ketika agent tidak yakin?
Apa yang terjadi ketika objective bertabrakan dengan constraint?
Dan mungkin pertanyaan paling sederhana:
Siapa yang memiliki tombol untuk menghentikannya?
Manusia Tetap Harus Menentukan Boundary
Saya tidak melihat perkembangan AI sebagai sesuatu yang harus kita takuti.
Justru sebaliknya.
Menurut saya, perkembangan AI adalah salah satu perkembangan teknologi paling menarik yang sedang kita saksikan.
Tapi semakin banyak kemampuan yang kita delegasikan kepada mesin, semakin besar pula tanggung jawab manusia.
Kita tidak bisa hanya mengatakan:
“AI, selesaikan ini.”
Kemudian berharap sistem memahami seluruh konteks, nilai, batas, dan konsekuensi yang ada di kepala kita.
Kita harus mulai belajar mendefinisikannya.
Goal.
Constraints.
Permissions.
Monitoring.
Stop conditions.
Dan kalau memang diperlukan:
Human override.
Bagi saya, autonomy bukan berarti manusia boleh melepaskan tanggung jawab.
Justru semakin autonomous sebuah sistem, semakin penting manusia memahami kapan harus membiarkannya berjalan dan kapan harus mengambil alih.
The Real Question
Mungkin pertanyaan terbesar tentang AI sebenarnya bukan:
“Seberapa pintar AI bisa menjadi?”
Karena kita kemungkinan akan terus menemukan jawabannya.
Model akan semakin kuat.
Agent akan semakin capable.
Tools akan semakin banyak.
Autonomy akan semakin tinggi.
Tapi ada pertanyaan lain yang menurut saya jauh lebih penting:
“Seberapa bijak manusia dalam menentukan apa yang boleh dilakukan oleh AI yang semakin pintar?”
Karena ketika AI hanya menjawab, kita masih punya kesempatan untuk membaca dan mengoreksi jawabannya.
Ketika AI mulai mengambil keputusan, ruang kesalahannya menjadi lebih besar.
Dan ketika AI mulai bertindak, kesalahan pada objective atau constraint bisa berubah menjadi konsekuensi nyata.
Mungkin inilah babak baru hubungan manusia dengan teknologi.
Bukan lagi sekadar:
Human asks. AI answers.
Tetapi:
Human defines. AI acts.
Dan kalau memang itu arah yang sedang kita tuju, menurut saya ada satu prinsip yang tidak boleh hilang:
AI boleh membantu menentukan bagaimana sebuah tujuan dicapai.
Tetapi manusia harus tetap menentukan tujuan, batas, dan kapan semuanya harus berhenti.
