Implementasi Voice Emotion Recognition Berbasis CNN Untuk Mendukung Interaksi Customer Service

Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi model voice emotion recognition berbasis Convolutional Neural Network (CNN) guna mendukung interaksi customer service dalam mengenali emosi pelanggan melalui suara. Penelitian menggunakan dataset IndoWaveSentiment yang terdiri dari 300 rekaman audio berbahasa Indonesia dan telah dilabeli ke dalam lima kategori emosi: marah, senang, netral, sedih, dan terkejut. Metodologi yang digunakan meliputi pra-pemrosesan data (konversi mono, normalisasi, trimming, padding, dan augmentasi), ekstraksi fitur menggunakan Mel-Frequency Cepstral Coefficients (MFCC), serta pembagian data menjadi data pelatihan dan data pengujian. Model CNN dirancang untuk mengekstraksi pola spasial dari fitur audio dan mengklasifikasikan emosi secara otomatis. Hasil evaluasi menunjukkan bahwa model mencapai akurasi 84% pada data uji, dengan nilai precision, recall, dan f1-score rata-rata sebesar 84%. Kinerja terbaik diperoleh pada kategori netral dengan recall 95% dan f1-score 88%, sedangkan pada kategori marah dan senang, recall masing-masing sebesar 76% dan 77%. Hasil ini membuktikan bahwa model CNN efektif dalam mendeteksi emosi utama pada layanan customer service Berbahasa Indonesia.

Kata kunci: audio, convolutional neural network, customer service, voice emotion recognition