Proyek yang dipublikasikan di forum pengembang pekan lalu ini menggunakan kombinasi perangkat keras sederhana: sebuah komputer mini Raspberry Pi yang dipasangi LLM ringan, modul mikrofon, dan speaker. Alih-alih mengirim suara pengguna ke server awan untuk diproses, seluruh percakapan dan perintah diproses secara lokal. LLM yang digunakan adalah model terbuka yang sudah dioptimasi untuk perangkat dengan daya komputasi terbatas.
Motivasi utama sang pembuat adalah privasi. Dalam catatan teknisnya, ia menulis bahwa asisten komersial seperti Alexa atau Google Assistant selalu merekam percakapan dan mengirimkannya ke server perusahaan. "Saya tidak ingin suara saya dan pertanyaan saya menjadi komoditas yang dianalisis oleh korporasi," tulisnya.
Solusinya: beri LLM lokal akses ke internet secara terbatas. Perangkat ini hanya bisa menjangkau daftar putih situs berita yang sudah ditentukan — misalnya BBC, Reuters, atau NPR — untuk mengambil artikel terbaru. Setelah teks terkumpul, LLM lokal merangkumnya menjadi narasi singkat yang kemudian dibacakan dengan suara sintetis.
Meski masih jauh dari sempurna — kecepatan pemrosesan lebih lambat dan kualitas suara masih robotik — proyek ini membuktikan satu hal: AI tidak harus selalu "pintar" karena terhubung ke superkomputer di data center. Dengan model bahasa yang semakin efisien, perangkat lokal kini bisa melakukan tugas yang sebelumnya hanya mungkin dilakukan di cloud.
Dari sisi performa, LLM lokal yang digunakan butuh waktu sekitar 15-20 detik untuk merangkum tiga artikel berita pendek. Bandingkan dengan asisten cloud yang hampir instan. Namun, pengorbanan kecepatan ini dianggap sepadan dengan jaminan bahwa tidak ada data yang bocor ke luar rumah.
Di Indonesia, tren serupa mulai terlihat di kalangan penggemar teknologi dan komunitas open-source. Beberapa forum diskusi lokal sudah membahas kemungkinan menjalankan LLM seperti Llama atau Mistral di perangkat rumahan. Namun, tantangan utamanya bukan hanya teknis, melainkan juga ketersediaan model berbahasa Indonesia yang mumpuni. Sebagian besar LLM terbuka masih didominasi data bahasa Inggris.
Konsep "AI lokal" ini juga menarik perhatian praktisi keamanan siber di Jakarta. Mereka menilai pendekatan ini bisa menjadi alternatif bagi perusahaan atau individu yang ingin memanfaatkan AI generatif tanpa harus tunduk pada kebijakan data perusahaan teknologi asing. Regulasi Perlindungan Data Pribadi (PDP) yang mulai berlaku tahun ini mendorong lebih banyak pihak memikirkan di mana data mereka diproses.
Proyek ini belum bisa menggantikan asisten komersial untuk tugas kompleks seperti mengatur jadwal atau mengirim pesan. LLM lokal tidak memiliki akses ke API layanan pihak ketiga — tidak bisa memesan taksi atau menyalakan lampu rumah. Fungsinya masih terbatas pada membaca informasi yang sudah diambil dari web.
Namun, bagi pembuatnya, ini bukan soal fitur. "Ini soal kedaulatan data," tulisnya di akhir catatan proyek. "Saya lebih suka menunggu 20 detik daripada tahu bahwa percakapan pagi saya disimpan di server seseorang."