Riset MIT: Kelemahan LLM dalam Memahami Pola Sintaksis

Raksasa teknologi kecerdasan buatan, Large Language Models (LLMs), belakangan ini kerap menjadi sorotan utama dalam berbagai inovasi. Namun, di balik kemampuannya yang mengagumkan, sebuah studi terbaru dari Massachusetts Institute of Technology (MIT) justru mengungkap celah krusial yang membuat LLM kurang dapat diandalkan. Studi ini menunjukkan bahwa alih-alih selalu merespons berdasarkan pemahaman domain yang mendalam, LLM terkadang cenderung belajar "pelajaran yang salah" dengan mengandalkan pola gramatikal atau sintaksis yang mereka serap selama proses pelatihan. Fenomena ini bisa menyebabkan model AI memberikan jawaban yang meyakinkan, namun sebenarnya tidak didasari pemahaman yang akurat, dan berpotensi gagal secara tak terduga saat diterapkan pada tugas-tugas baru.

Mengapa LLM Belajar Pola yang Salah? Lebih dari Sekadar Sintaksis

LLM dilatih menggunakan data teks yang sangat besar dari internet, sebuah "samudra" informasi yang memungkinkan mereka mempelajari hubungan antara kata dan frasa. Selama pelatihan inilah, model AI membangun pengetahuannya untuk merespons pertanyaan. Dalam penelitian sebelumnya, tim MIT menemukan bahwa LLM juga menyerap pola dalam bagian ujaran (parts of speech) yang sering muncul bersama dalam data pelatihan. Pola-pola ini mereka sebut sebagai "syntactic templates" atau templat sintaksis.

Pemahaman sintaksis, di samping pengetahuan semantik (makna), tentu penting agar LLM dapat menjawab pertanyaan secara tepat dalam domain tertentu. Namun, riset terbaru ini menemukan bahwa LLM secara keliru mengaitkan templat sintaksis ini dengan domain spesifik. Akibatnya, model bisa saja hanya mengandalkan asosiasi yang keliru ini saat menjawab pertanyaan, alih-alih memahami makna pertanyaan dan konteks subjek yang sebenarnya.

Ambil contoh sederhana: sebuah LLM mungkin belajar bahwa pertanyaan seperti "Di mana letak kota Bandung?" memiliki struktur yang mirip dengan adverbia/kata kerja/kata benda proper/kata kerja. Jika ada banyak contoh konstruksi kalimat serupa dalam data pelatihannya, LLM bisa mengasosiasikan templat sintaksis tersebut dengan pertanyaan tentang lokasi kota. Nah, masalahnya muncul ketika model diberi pertanyaan baru dengan struktur gramatikal yang sama tetapi kata-kata yang tidak masuk akal, seperti "Cepat duduk Jakarta berkabut?" Model mungkin tetap menjawab "Indonesia" meskipun jawaban itu sama sekali tidak relevan dengan pertanyaan yang ngawur tersebut. Ini menunjukkan bahwa LLM lebih terpaku pada pola kalimat daripada makna inti.

Dampak dan Risiko Keandalan LLM bagi Indonesia

Kelemahan fundamental ini berpotensi mengurangi keandalan LLM yang digunakan dalam berbagai tugas krusial, termasuk yang sedang berkembang pesat di Indonesia. Bayangkan saja, LLM yang bertugas menangani pertanyaan pelanggan, meringkas catatan klinis pasien di rumah sakit, atau menghasilkan laporan keuangan yang akurat. Jika LLM ini keliru dalam memproses informasi karena salah memahami sintaksis, dampaknya bisa sangat merugikan, mulai dari informasi yang salah hingga keputusan bisnis yang keliru.

Lebih jauh lagi, celah ini juga membawa risiko keamanan yang serius. Seorang aktor jahat, misalnya, bisa saja mengeksploitasi kelemahan ini untuk mengelabui LLM agar menghasilkan konten yang berbahaya, bahkan ketika model tersebut sudah dilengkapi dengan berbagai pengaman untuk mencegah respons semacam itu. Di Indonesia, di mana adopsi AI semakin masif di berbagai sektor, kerentanan semacam ini tentu menjadi perhatian serius yang membutuhkan mitigasi proaktif. Potensi penyalahgunaan AI untuk menyebarkan hoaks atau informasi menyesatkan bisa meningkat jika kerentanan ini tidak segera diatasi.

Studi Kasus dan Hasil Eksperimen Mengejutkan

Para peneliti menguji fenomena ini melalui serangkaian eksperimen sintetis. Mereka sengaja merancang skenario di mana hanya satu templat sintaksis muncul dalam data pelatihan model untuk setiap domain. Mereka kemudian menguji model dengan mengganti kata-kata menggunakan sinonim, antonim, atau bahkan kata-kata acak, namun tetap mempertahankan sintaksis yang mendasarinya. Hasilnya cukup mengejutkan: dalam banyak kasus, LLM tetap memberikan jawaban yang benar, meskipun pertanyaan yang diajukan benar-benar tidak masuk akal secara semantik.

Ketika pertanyaan yang sama direstrukturisasi menggunakan pola bagian ujaran yang baru, LLM seringkali gagal memberikan respons yang benar, meskipun makna inti pertanyaan tersebut tetap sama. Pendekatan ini digunakan untuk menguji LLM yang sudah dilatih sebelumnya seperti GPT-4 dan Llama. Ditemukan bahwa perilaku pembelajaran yang keliru ini secara signifikan menurunkan kinerja model-model tersebut.

Penasaran dengan implikasi yang lebih luas, peneliti juga menyelidiki apakah seseorang dapat mengeksploitasi fenomena ini untuk memancing respons berbahaya dari LLM yang telah dilatih secara khusus untuk menolak permintaan semacam itu. Mereka menemukan bahwa dengan menyusun pertanyaan menggunakan templat sintaksis yang diasosiasikan model dengan dataset "aman" (yang tidak berisi informasi berbahaya), mereka berhasil mengelabui model untuk mengesampingkan kebijakan penolakannya dan menghasilkan konten yang merugikan. Ini adalah temuan krusial yang menggarisbawahi perlunya pertahanan yang lebih kuat terhadap kerentanan keamanan dalam LLM.

Solusi Awal dan Langkah ke Depan untuk LLM yang Lebih Aman

Setelah berhasil mengidentifikasi fenomena ini dan mengeksplorasi implikasinya, para peneliti tidak berhenti di situ. Mereka mengembangkan prosedur benchmarking untuk mengevaluasi seberapa besar ketergantungan model pada korelasi yang tidak tepat ini. Prosedur ini diharapkan dapat membantu para pengembang AI, termasuk di Indonesia, untuk mengurangi masalah sebelum menerapkan LLM secara luas. Dengan adanya alat evaluasi ini, tim pengembang bisa lebih proaktif dalam mendeteksi dan memperbaiki bias sintaksis dalam model mereka, sehingga produk AI yang diluncurkan menjadi lebih andal dan aman.

Meskipun riset ini belum mengeksplorasi strategi mitigasi secara mendalam, para peneliti berencana untuk melanjutkan studi mereka ke arah tersebut. Potensi strategi mitigasi bisa mencakup augmentasi data pelatihan, yaitu dengan menyediakan variasi templat sintaksis yang lebih luas. Hal ini bertujuan agar LLM tidak hanya mengandalkan satu jenis pola, melainkan mengembangkan pemahaman yang lebih kaya dan fleksibel terhadap bahasa. Selain itu, mereka juga tertarik untuk mengeksplorasi fenomena ini pada reasoning models, yaitu jenis LLM khusus yang dirancang untuk menangani tugas-tugas multi-langkah yang lebih kompleks.

Menurut Jessy Li, seorang profesor di University of Texas at Austin yang tidak terlibat dalam penelitian ini, pendekatan yang diambil oleh tim MIT ini sangat kreatif dalam mempelajari mode kegagalan LLM. Ia menekankan pentingnya pengetahuan dan analisis linguistik dalam penelitian keamanan LLM, sebuah aspek yang sebelumnya mungkin kurang menjadi fokus utama, namun kini terbukti sangat krusial. Dengan pemahaman yang lebih baik tentang cara LLM belajar dan potensi kesalahannya, kita dapat membangun sistem AI yang lebih tangguh, etis, dan benar-benar bermanfaat bagi masyarakat, termasuk di Indonesia.