Perbandingan Analisis Sentimen PLN Mobile: Machine Learning vs. Deep Learning

Ismail Akbar, Muhammad Faisal

Abstract

Rating ulasan aplikasi play store memiliki nilai strategis karena merupakan informasi penting bagi pengembang aplikasi untuk meningkatkan kualitas layanan di dunia digital. Salah satu aplikasi yang dijadikan subjek penelitian ini adalah PLN Mobile. Sejak diluncurkannya aplikasi PLN Mobile, terbukti masih banyak opini masyarakat yang tidak puas dengan penggunaan aplikasi PLN Mobile. Oleh karena itu, masih memiliki kelemahan bagi pengguna aplikasi dan pengembang aplikasi saat menganalisis komentar penulis pengguna. Dalam penelitian ini, dilakukan pengujian dengan membandingkan beberapa algoritma machine learning terdiri dari logistic regression, decision tree, random forest serta algoritma deep learning terdiri neural network multi-layer perceptron (MLP) dan long short-term memory (LSTM) untuk mengklasifikasikan senitmen positif atau negatif. Penelitian ini menghasilkan 3.000 ulasan pengguna aplikasi PLN Mobile, yang terdiri dari 1.965 ulasan positif dan 1.035 ulasan negatif. Data tersebut kemudian diuji dengan menggunakan model logistic regression yang memiliki akurasi sebesar 84,47%, decision tree yang memiliki akurasi sebesar 79,30%, dan random forest yang memiliki akurasi sebesar 83,64%. Sedangkan model algoritma deep learning khususnya Neural Network Multilayer Perceptron (MLP) memiliki akurasi sebesar 84,47%, sedangkan pengujian dengan Long Short Term Memory (LSTM) memberikan akurasi sebesar 78,83%. Berdasarkan penelitian analisis sentimen dalam ulasan pengguna aplikasi PLN Mobile, model machine learning yang menggunakan algoritma logistic regression dan model deep learning yang menggunakan algoritma neural network multi-layer perceptron (MLP) memiliki keunggulan dalam akurasi dibandingkan algoritma lainnya.

Keywords

analisis sentimen; machine learning; deep learning; PLN Mobile

Article Metrics

Abstract view : 17 times
PDF view : 15 times

Full Text:

PDF

References

E. Kaban, K. C. Brata, and A. H. Brata, “Evaluasi Usability Menggunakan Metode System Usability Scale (SUS) Dan Discovery Prototyping Pada Aplikasi PLN Mobile,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya, vol. 3, no. 2, pp. 8952–8958, 2019.

P. A. Lestari, I. Aknuranda, and A. D. Herlambang, “Evaluasi Usability Pada Antarmuka Pengguna Aplikasi PLN Mobile Menggunakan Metode Evaluasi Heuristik,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 3, no. 3, pp. 2269–2275, 2019.

J. A. Kumar, T. E. Trueman, and E. Cambria, “Gender-Based Multi-Aspect Sentiment Detection Using Multilabel Learning,” Inf. Sci. (Ny)., vol. 606, pp. 453–468, 2022, doi: 10.1016/j.ins.2022.05.057.

Y. Pratama, D. T. Murdiansyah, and K. M. Lhaksmana, “Analisis Sentimen Kendaraan Listrik Pada Media Sosial Twitter Menggunakan Algoritma Logistic Regression dan Principal Component Analysis,” J. Media Inform. Budidarma, vol. 7, no. 1, pp. 529–535, 2023, doi: 10.30865/mib.v7i1.5575.

A. R. Hidayati, A. S. Fitrani, M. A. Rosid, F. Sains, and U. Muhammadiyah, “Analisa Sentimen Pemilu 2019 Pada Judul Berita Online Menggunakan Metode Logistic Regression,” J. Penerapan Sist. Inf., vol. 4, no. 2, pp. 298–305, 2023.

E. N. Halim, B. Huda, and A. Elanda, “Perbandingan KNN, Decision Tree Dan Naïve Bayes Untuk Analisis Sentimen Marketplace Bukalapak,” J. Comput. Eng. Syst. Sci., vol. 8, no. January, pp. 71–79, 2023.

E. Fitri, “Analisis Sentimen Terhadap Aplikasi Ruangguru Menggunakan Algoritma Naive Bayes, Random Forest Dan Support Vector Machine,” J. Transform., vol. 18, no. 1, p. 71, 2020, doi: 10.26623/transformatika.v18i1.2317.

J. Asian, M. Dholah Rosita, and T. Mantoro, “Sentiment Analysis For The Brazilian Anesthesiologist Using Multi-Layer Perceptron Classifier And Random Forest Methods,” J. Online Inform., vol. 7, no. 1, p. 132, 2022, doi: 10.15575/join.v7i1.900.

A. A. Mudding and Arifin A Abd Karim, “Analisis Sentimen Menggunakan Algoritma LSTM Pada Media Sosial,” J. Publ. Ilmu Komput. dan Multimed., vol. 1, no. 3, pp. 181–187, 2022, doi: 10.55606/jupikom.v1i3.517.

L. Farsiah, A. Misbullah, and H. Husaini, “Analisis Sentimen Menggunakan Arsitektur Long Short-Term Memory (LSTM) Terhadap Fenomena Citayam Fashion Week,” Cybersp. J. Pendidik. Teknol. Inf., vol. 6, no. 2, p. 86, 2022, doi: 10.22373/cj.v6i2.14687.

N. S. Fathullah, Y. A. Sari, and P. P. Adikara, “Analisis Sentimen Terhadap Rating dan Ulasan Film Dengan Menggunakan Metode Klasifikasi Naïve Bayes dengan Fitur Lexicon-Based,” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 4, no. 2, pp. 590–593, 2020, [Online]. Available: https://j-ptiik.ub.ac.id/index.php/j-ptiik/article/view/6987

A. Agrani and B. Rikumahu, “Perbandingan Analisis Sentimen Terhadap Digital Payment ‘Go-Pay’ Dan ‘Ovo’ Di Media Sosial Twitter Menggunakan Algoritma Naïve Bayes Dan Word Cloud,” Agustus, vol. 7, no. 2, p. 2534, 2020.

A. Amalia, W. Oktinas, I. Aulia, and R. F. Rahmat, “Determination Of Quality Television Programmes Based On Sentiment Analysis On Twitter,” J. Phys. Conf. Ser., vol. 978, no. 1, 2018, doi: 10.1088/1742-6596/978/1/012117.

E. Y. Sari, A. D. Wierfi, and A. Setyanto, “Sentiment Analysis Of Customer Satisfaction On Transportation Network Company Using Naive Bayes Classifier,” 2019 Int. Conf. Comput. Eng. Network, Intell. Multimedia, CENIM 2019 - Proceeding, vol. 2019-Novem, 2019, doi: 10.1109/CENIM48368.2019.8973262.

H. Juwiantho, E. I. Setiawan, J. Santoso, and M. H. Purnomo, “Sentiment Analysis Twitter Bahasa Indonesia Berbasis WORD2VEC Menggunakan Deep Convolutional Neural Network,” J. Teknol. Inf. dan Ilmu Komput., vol. 7, no. 1, pp. 181–188, 2020, doi: 10.25126/jtiik.202071758.

M. U. Albab, Y. Karuniawati P, and M. N. Fawaiq, “Optimization Of The Stemming Technique On Text preprocessing President 3 Periods Topic,” J. Transform., vol. 20, no. 2, pp. 1–10, 2023, [Online]. Available: https://journals.usm.ac.id/index.php/transformatika/■page1

A. Bimantara and T. A. Dina, “Klasifikasi Web Berbahaya Menggunakan Metode Logistic Regression,” Annu. Res. Semin., vol. 4, no. 1, pp. 173–177, 2019, [Online]. Available: https://seminar.ilkom.unsri.ac.id/index.php/ars/article/view/1932

A. De Caigny, K. Coussement, and K. W. De Bock, “A New Hybrid Classification Algorithm For Customer Churn Prediction Based On Logistic Regression And Decision Trees,” Eur. J. Oper. Res., vol. 269, no. 2, pp. 760–772, 2018, doi: 10.1016/j.ejor.2018.02.009.

P. Lauren, G. Qu, J. Yang, P. Watta, G. Bin Huang, and A. Lendasse, “Generating Word Embeddings from An Extreme Learning Machine For Sentiment Analysis And Sequence Labeling Tasks,” Cognit. Comput., vol. 10, no. 4, pp. 625–638, 2018, doi: 10.1007/s12559-018-9548-y.

F. R. Suprihati, “Analisis Klasifikasi SMS Spam Menggunakan Logistic Regression,” J. Sist. Cerdas, vol. 4, no. 3, pp. 155–160, 2021, doi: 10.37396/jsc.v4i3.166.

N. Nurajijah, D. A. Ningtyas, and M. Wahyudi, “Klasifikasi Siswa SMK Berpotensi Putus Sekolah Menggunakan Algoritma Decision Tree, Support Vector Machine Dan Naive Bayes,” J. Khatulistiwa Inform., vol. 7, no. 2, pp. 85–90, 2019, doi: 10.31294/jki.v7i2.6839.

I. Afdhal, R. Kurniawan, I. Iskandar, R. Salambue, E. Budianita, and F. Syafria, “Penerapan Algoritma Random Forest Untuk Analisis Sentimen Komentar Di YouTube Tentang Islamofobia,” J. Nas. Komputasi dan Teknol. Inf., vol. 5, no. 1, pp. 122–130, 2022, [Online]. Available: http://ojs.serambimekkah.ac.id/jnkti/article/view/4004/pdf

D. A. Alboaneen, H. Tianfield, and Y. Zhang, “Sentiment Analysis Via Multi-Layer Perceptron Trained By Meta-Heuristic Optimisation,” Proc. - 2017 IEEE Int. Conf. Big Data, Big Data 2017, vol. 2018-Janua, pp. 4630–4635, 2017, doi: 10.1109/BigData.2017.8258507.

M. F. Muzakki, R. F. Umbara, F. Informatika, and U. Telkom, “Analisis Sentimen Mahasiswa Terhadap Fasilitas Universitas Telkom Menggunakan Metode Jaringan Saraf Tiruan Dan TF-IDF,” e-Prodeceeding Eng., vol. 6, no. 2, pp. 8608–8616, 2019.

M. Kim and K.-H. Kang, “Comparison of Neural Network Techniques for Text Data Analysis,” Int. J. Adv. Cult. Technol., vol. 8, no. 2, pp. 231–238, 2020, doi: https://doi.org/10.17703/IJACT.2020.8.2.231.

Z. Zhao, W. Chen, X. Wu, P. C. Y. Chen, and J. Liu, “LSTM Network: A Deep Learning Approach For Short-Term Traffic Forecast,” IET Intell. Transp. Syst., vol. 11, no. 2, pp. 68–75, 2017, doi: 10.1049/iet-its.2016.0208.

K. Goseva-Popstojanova and J. Tyo, “Identification Of Security Related Bug Reports Via Text Mining Using Supervised And Unsupervised Classification,” Proc. - 2018 IEEE 18th Int. Conf. Softw. Qual. Reliab. Secur. QRS 2018, pp. 344–355, 2018, doi: 10.1109/QRS.2018.00047.

S. Chotirat and P. Meesad, “Part-Of-Speech Tagging Enhancement To Natural Language Processing For Thai Wh-Question Classification With Deep Learning,” Heliyon, vol. 7, no. 10, p. e08216, 2021, doi: 10.1016/j.heliyon.2021.e08216.

S. Syafrizal, M. Afdal, and R. Novita, “Analisis Sentimen Ulasan Aplikasi PLN Mobile Menggunakan Algoritma Naïve Bayes Classifier dan K-Nearest Neighbor,” MALCOM Indones. J. Mach. Learn. Comput. Sci., vol. 4, no. 1, pp. 10–19, 2023, doi: 10.57152/malcom.v4i1.983.

T. Informatika and F. Teknik, “Analisis Sentimen Terkait Ulasan Pada Aplikasi PLN Mobile Menggunakan Metode Support Vector Machine,” KESATRIA - J. Penerapan Sist. Inf. (Komputer Manajemen), vol. 5, no. 1, pp. 303–312, 2024.

DOI: https://doi.org/10.31328/jointecs.v8i1.5078

Refbacks

  • There are currently no refbacks.