DisCIPL: AI Kecil Atasi Nalar Rumit, Lebih Hemat dari GPT-4o

Seiring dengan kemajuan pesat model bahasa (LM) dalam berbagai tugas seperti pembuatan gambar, menjawab kuis, hingga perhitungan sederhana, mungkin kita berpikir bahwa kemampuan penalaran seperti manusia sudah di depan mata. Namun, kenyataannya, model-model ini masih tertinggal jauh dari kita dalam tugas-tugas yang kompleks. Ambil contoh Sudoku; model AI seringkali kesulitan mengisi angka atau melakukannya dengan tidak efisien, meskipun mereka bisa memverifikasi jawaban kita. Predikamen ini mendorong peneliti dari MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) untuk mengembangkan pendekatan kolaboratif bernama “Distributional Constraints by Inference Programming with Language Models” (DisCIPL). Metode ini memungkinkan model bahasa besar (LLM) untuk menyusun rencana, kemudian membagi tugas-tugas tersebut kepada model-model yang lebih kecil.

Menguak Batasan Model Bahasa Konvensional

Baik itu mencoba memecahkan teka-teki tingkat lanjut, mendesain molekul, atau menulis bukti matematika, sistem AI seringkali kesulitan menjawab permintaan terbuka yang memiliki aturan ketat untuk diikuti. Model bahasa lebih cakap dalam memberitahu pengguna cara mendekati tantangan ini daripada mencoba menyelesaikannya sendiri. Lebih dari itu, pemecahan masalah praktis memerlukan LM untuk mempertimbangkan berbagai pilihan sambil tetap mematuhi batasan. Model bahasa kecil tidak dapat melakukan ini secara andal sendiri; model bahasa besar (LLM) kadang bisa, terutama jika mereka dioptimalkan untuk tugas-tugas penalaran, tetapi mereka membutuhkan waktu untuk merespons dan menggunakan daya komputasi yang besar. Di Indonesia, tantangan ini seringkali ditemui dalam aplikasi AI yang memerlukan ketelitian tinggi, seperti analisis data keuangan atau otomatisasi proses hukum, di mana kesalahan kecil dapat berakibat fatal.

Tantangan Penalaran Kompleks

Model bahasa konvensional, terutama yang kecil, menghadapi kendala signifikan dalam tugas penalaran kompleks. Mereka cenderung "berhalusinasi" atau memberikan jawaban yang tidak konsisten dengan aturan yang telah ditetapkan. Hal ini menjadi masalah besar ketika aplikasi AI membutuhkan akurasi dan kepatuhan terhadap instruksi yang spesifik, seperti dalam pembuatan laporan teknis atau penjadwalan logistik yang rumit. Keterbatasan ini menghambat adopsi AI di sektor-sektor yang sangat bergantung pada kepatuhan aturan, seperti di industri perbankan atau manufaktur di Indonesia, di mana integrasi AI masih perlu melewati hambatan kepercayaan terhadap akurasi dan reliabilitas.

DisCIPL: Kolaborasi Cerdas Model Bahasa

DisCIPL menawarkan solusi yang elegan untuk masalah ini. Metode yang dikembangkan oleh tim dari MIT ini memungkinkan model-model kecil memberikan respons yang lebih akurat daripada LLM terkemuka seperti OpenAI GPT-4o, dan mendekati presisi sistem penalaran teratas seperti o1, sambil tetap lebih efisien dibandingkan keduanya. Kerangka kerja ini, yang disebut “Distributional Constraints by Inference Programming with Language Models” (DisCIPL), memiliki model besar yang memandu model "pengikut" yang lebih kecil menuju respons yang tepat saat menulis hal-hal seperti deskripsi teks, daftar belanja dengan anggaran, atau rencana perjalanan.

Bagaimana DisCIPL Bekerja?

Cara kerja DisCIPL sangat mirip dengan mengontrak perusahaan untuk pekerjaan tertentu. Anda memberikan permintaan kepada model "bos" (sebuah LLM), dan ia dengan cermat mempertimbangkan bagaimana melaksanakan proyek tersebut. Kemudian, LLM ini menyampaikan instruksi dan pedoman ini dengan cara yang jelas kepada model-model yang lebih kecil. Model bos juga akan mengoreksi keluaran model pengikut jika diperlukan — misalnya, mengganti frasa salah satu model yang tidak sesuai dengan puisi dengan pilihan yang lebih baik dari model lain. Model bos berkomunikasi dengan para pengikutnya menggunakan bahasa yang mereka semua pahami — yaitu, bahasa pemrograman untuk mengontrol LM yang disebut “LLaMPPL.” Dikembangkan oleh MIT Probabilistic Computing Project pada tahun 2023, program ini memungkinkan pengguna untuk menyandikan aturan spesifik yang mengarahkan model menuju hasil yang diinginkan. Contohnya, LLaMPPL dapat digunakan untuk menghasilkan kode bebas kesalahan dengan memasukkan aturan bahasa tertentu dalam instruksinya. Arah seperti “tulis delapan baris puisi di mana setiap baris memiliki tepat delapan kata” disandikan dalam LLaMPPL, mengantrekan model-model kecil untuk berkontribusi pada bagian-bagian jawaban yang berbeda. Ini membuka potensi besar untuk pengembangan AI di Indonesia, terutama dalam tugas-tugas yang membutuhkan kolaborasi antar agen AI.

Keunggulan DisCIPL: Lebih Cepat, Lebih Murah, Lebih Baik

Gabriel Grand, mahasiswa PhD MIT dan penulis utama makalah yang mempresentasikan karya ini, menyatakan bahwa DisCIPL memungkinkan LM untuk saling memandu menuju respons terbaik, yang meningkatkan efisiensi keseluruhan mereka. “Kami berupaya meningkatkan efisiensi inferensi LM, terutama pada banyak aplikasi modern model-model ini yang melibatkan pembuatan keluaran yang tunduk pada batasan,” tambah Grand. “Model bahasa mengonsumsi lebih banyak energi seiring dengan peningkatan penggunaannya oleh masyarakat, yang berarti kita membutuhkan model yang dapat memberikan jawaban akurat sambil menggunakan daya komputasi minimal.”

Eksperimen juga menunjukkan bahwa komponen kunci DisCIPL jauh lebih murah daripada sistem canggih. Misalnya, sementara model penalaran yang ada seperti OpenAI o1 melakukan penalaran dalam teks, DisCIPL "bernalar" dengan menulis kode Python, yang lebih ringkas. Dalam praktiknya, para peneliti menemukan bahwa DisCIPL menghasilkan penalaran 40.1% lebih singkat dan penghematan biaya 80.2% dibandingkan o1. Peningkatan efisiensi DisCIPL sebagian berasal dari penggunaan model Llama kecil sebagai pengikut, yang 1.000 hingga 10.000 kali lebih murah per token daripada model penalaran sebanding. Ini berarti DisCIPL lebih "skalabel" — para peneliti dapat menjalankan puluhan model Llama secara paralel dengan sebagian kecil dari biaya. Temuan mengejutkan lainnya adalah kinerja sistem ini terhadap o1 dalam tugas-tugas dunia nyata, seperti membuat daftar bahan makanan, merencanakan jadwal perjalanan, dan menulis proposal hibah dengan batasan kata. Sementara itu, GPT-4o kesulitan dengan permintaan ini, dan dalam tes menulis, seringkali tidak dapat menempatkan kata kunci di bagian kalimat yang benar. Basis pengikut-saja pada dasarnya berada di posisi terakhir, karena kesulitan mengikuti instruksi.

Aplikasi DisCIPL di Konteks Indonesia

Potensi DisCIPL di Indonesia sangat besar. Dengan biaya komputasi yang lebih rendah dan efisiensi yang tinggi, DisCIPL dapat menjadi solusi inovatif untuk berbagai sektor. Misalnya, di sektor pendidikan, DisCIPL bisa digunakan untuk membuat materi ajar yang disesuaikan dengan kurikulum, merancang soal-soal latihan yang kompleks namun tetap relevan, atau bahkan membantu dalam pembuatan modul pelatihan untuk tenaga kerja. Di industri kreatif, DisCIPL dapat membantu penulis menghasilkan konten yang unik dan terstruktur, seperti skenario film atau narasi promosi, dengan mematuhi batasan gaya dan panjang yang spesifik. Selain itu, di sektor pemerintahan atau layanan publik, DisCIPL berpotensi membantu dalam penyusunan dokumen kebijakan, analisis data demografi, atau bahkan pengelolaan logistik bantuan bencana yang memerlukan perencanaan rumit dan respons cepat, semua dengan efisiensi dan akurasi yang lebih tinggi.

Pendekatan ini sangat relevan mengingat upaya Indonesia untuk terus mendorong transformasi digital dan pemanfaatan AI dalam ekosistem industri 4.0. Dengan kemampuan untuk mengoptimalkan sumber daya komputasi, DisCIPL dapat mempercepat pengembangan aplikasi AI yang canggih tanpa harus tergantung sepenuhnya pada infrastruktur komputasi yang sangat mahal, sehingga lebih inklusif dan dapat diakses oleh lebih banyak pihak, termasuk startup dan usaha kecil menengah (UKM) yang ingin mengimplementasikan solusi berbasis AI.

Prospek Masa Depan dan Inovasi Berkelanjutan

Para peneliti berencana untuk memperluas kerangka kerja ini menjadi pendekatan yang lebih rekursif sepenuhnya, di mana model yang sama dapat digunakan sebagai pemimpin dan pengikut. Grand menambahkan bahwa DisCIPL dapat diperluas ke tugas-tugas penalaran matematis, di mana jawaban lebih sulit untuk diverifikasi. Mereka juga bermaksud menguji sistem pada kemampuannya untuk memenuhi preferensi pengguna yang "buram", berbeda dengan mengikuti batasan keras yang tidak dapat digariskan dalam kode secara eksplisit. Berpikir lebih besar lagi, tim berharap dapat menggunakan model terbesar yang tersedia, meskipun mereka mencatat bahwa eksperimen semacam itu mahal secara komputasi.

Jacob Andreas, profesor rekanan teknik elektro dan ilmu komputer MIT serta peneliti utama CSAIL, menyatakan, “Yang paling menarik dari makalah ini adalah fakta bahwa kita sekarang dapat menggunakan LM untuk mengotomatasi formalisasi pembuatan teks itu sendiri, memungkinkan jenis peningkatan efisiensi dan jaminan yang sama yang telah kita lihat di domain lain.” Inovasi ini menjanjikan masa depan di mana AI tidak hanya lebih cerdas tetapi juga lebih efisien dan terjangkau, membuka jalan bagi aplikasi AI yang lebih luas dan berdampak positif bagi masyarakat global, termasuk di Indonesia.