Rancang Bangun Penerjemah BISINDO Real-time Berbasis Kamera dan Deep Learning dengan Kendali Suara ESP32 WiFi

Abstrak

Bahasa Isyarat Indonesia (BISINDO) merupakan sarana komunikasi utama bagi komunitas tunarungu. Namun, keterbatasan pemahaman masyarakat umum serta minimnya teknologi penerjemah real-time yang praktis menjadi kendala dalam komunikasi dua arah. Sebagian besar penelitian sebelumnya berfokus pada bahasa isyarat asing atau menggunakan sarung tangan sensor yang kurang fleksibel. Penelitian ini merancang sistem penerjemah BISINDO berbasis kamera real-time yang mengubah gesture menjadi suara melalui mikrokontroler ESP32. Sistem memanfaatkan model deep learning CNN-LSTM di Python untuk mengklasifikasikan gestur huruf A hingga J, kemudian mengirimkan hasil klasifikasi secara nirkabel ke ESP32 yang mengaktifkan keluaran suara. Dataset dikumpulkan secara mandiri, dengan preprocessing dan augmentasi untuk mendukung pelatihan model. Hasil evaluasi menunjukkan akurasi klasifikasi sebesar 91,4%, precision 89,7%, recall 90,5%, dan F1-score 89,9%. Latensi komunikasi rata-rata tercatat 3,1 detik, sementara tingkat keberhasilan keluaran suara mencapai 86,7%. Sistem ini terbukti cukup andal dalam menerjemahkan gestur secara otomatis dan real-time, serta berpotensi dikembangkan lebih lanjut sebagai alat bantu komunikasi inklusif bagi penyandang disabilitas rungu di Indonesia. Penelitian ini dapat menjadi landasan awal dalam pengembangan alat bantu komunikasi inklusif bagi penyandang disabilitas rungu di masa mendatang.