Prediksi Gerakan secara Real-Time untuk Pengenalan Bahasa Isyarat menggunakan LSTM

Vira Yolanda, Widya Silfianti

Abstract

Bahasa Isyarat merupakan bahasa yang digunakan untuk berkomunikasi khususnya bagi penyandang tunarungu dan tuna wicara agar dapat saling berkomunikasi dengan baik. Namun karena minimnya pendidikan di masyarakat, bahasa isyarat jarang digunakan, bahkan banyak yang tidak mengetahui bahasa isyarat. Maka diperlukan suatu sistem untuk mengenali bahasa isyarat agar lebih banyak orang yang memahami bahasa isyarat. Dalam penelitian ini, kami mengembangkan deteksi gerakan dinamis untuk pengenalan 6 kata dalam bahasa isyarat Indonesia (SIBI) dengan memanfaatkan perubahan koordinat secara real-time yang dideteksi menggunakan MediaPipe Holistic dan model klasifikasi LSTM Neural Network. Dari hasil pengujian yang telah dilakukan dapat disimpulkan bahwa hasil implementasi Sistem Pengenalan Bahasa Isyarat secara real-time dengan memanfaatkan perubahan koordinat menggunakan metode MediaPipe Holistic dan Long Short Term Memory (LSTM) diperoleh sebuah model dengan nilai akurasi 96%. Akurasi yang diperoleh sebesar 96% artinya model tersebut akurat dalam mengklasifikasikan kelas-kelas gerakan. Setiap kelas memiliki nilai presisi, recall, f1-score dan support yang sangat baik dengan rata-rata 96%.

Keywords

kecerdasan buatan; pembelajaran mendalam; bahasa isyarat; prediksi gerakan; LSTM; mediapipe holistic

Article Metrics

Abstract view : 77 times
PDF view : 50 times

Full Text:

PDF

References

H. Luqman, E. S. M. El-Alfy, and G. M. BinMakhashen, Joint Space Representation And Recognition Of Sign Language Fingerspelling Using Gabor Filter And Convolutional Neural Network, Multimed. Tools Appl., vol. 80, no. 7, pp. 1021310234, 2021, doi: 10.1007/s11042-020-09994-0.

G. Malathi, Indian Sign Language Using Holistic Pose Detection, vol. 32, no. 3, pp. 1974619752.

C. K. M. Lee, K. K. H. Ng, C. H. Chen, H. C. W. Lau, S. Y. Chung, and T. Tsoi, American Sign Language Recognition And Training Method With Recurrent Neural Network, Expert Syst. Appl., vol. 167, no. April, 2021, doi: 10.1016/j.eswa.2020.114403.

Y. Che, C. B. Sivaparthipan, and J. Alfred Daniel, Human-Computer Interaction on IoT-Based College Physical Education, Arab. J. Sci. Eng., no. 0123456789, 2021, doi: 10.1007/s13369-021-05895-y.

A. Rahagiyanto, Identifikasi Ekstraksi Fitur untuk Gerakan Tangan dalam Bahasa Isyarat (SIBI) Menggunakan Sensor MYO Armband, MATRIK J. Manajemen, Tek. Inform. dan Rekayasa Komput., vol. 19, no. 1, pp. 127137, 2019, doi: 10.30812/matrik.v19i1.510.

??, A Review of Vision Based Dynamic Hand Gestures Recognition, Comput. Sci. Appl., vol. 10, no. 05, pp. 9901001, 2020, doi: 10.12677/csa.2020.105102.

A. Moryossef, I. Tsochantaridis, R. Aharoni, S. Ebling, and S. Narayanan, Real-Time Sign Language Detection using Human Pose Estimation, Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 12536 LNCS, pp. 237248, 2020, doi: 10.1007/978-3-030-66096-3_17.

Y. Wu et al., A Computer Vision-Based Yoga Pose Grading Approach Using Contrastive Skeleton Feature Representations, Healthc., vol. 10, no. 1, pp. 112, 2022, doi: 10.3390/healthcare10010036.

A. Halder and A. Tayade, International Journal of Research Publication and Reviews Real-time Vernacular Sign Language Recognition Using MediaPipe And Machine Learning, no. 2, pp. 917, 2021.

M. Mohammed and K. Ibrahim, Eye Blinking For Command Generation Based on Deep Learning, vol. 13, no. 4, pp. 2229, 2022.

G. Saggio, P. Cavallo, M. Ricci, V. Errico, J. Zea, and M. E. Benalczar, Sign Language Recognition Using Wearable Electronics: Implementing K-nearest Neighbors With Dynamic Time Warping And Convolutional Neural Network Algorithms, Sensors (Switzerland), vol. 20, no. 14, pp. 114, 2020, doi: 10.3390/s20143879.

Y. Liao, P. Xiong, W. Min, W. Min, and J. Lu, Dynamic Sign Language Recognition Based on Video Sequence With BLSTM-3D Residual Networks, IEEE Access, vol. 7, no. c, pp. 3804438054, 2019, doi: 10.1109/ACCESS.2019.2904749.

S. Shin and W. Y. Kim, Skeleton-Based Dynamic Hand Gesture Recognition Using a Part-Based GRU-RNN for Gesture-Based Interface, IEEE Access, vol. 8, pp. 5023650243, 2020, doi: 10.1109/ACCESS.2020.2980128.

M. H. Ismail, S. A. Dawwd, and F. H. Ali, Static Hand Gesture Recognition Of Arabic Sign Language By Using Deep CNNs, Indones. J. Electr. Eng. Comput. Sci., vol. 24, no. 1, pp. 178188, 2021, doi: 10.11591/ijeecs.v24.i1.pp178-188.

S. Mittal and O. P. Sangwan, Big Data Analytics Using Deep LSTM Networks: A Case Study For Weather Prediction, Adv. Sci. Technol. Eng. Syst., vol. 5, no. 2, pp. 133137, 2020, doi: 10.25046/aj050217.

Y. Bin Wang, Z. H. You, S. Yang, H. C. Yi, Z. H. Chen, and K. Zheng, A deep learning-based method for drug-target interaction prediction based on long short-term memory neural network, BMC Med. Inform. Decis. Mak., vol. 20, Mar. 2020, doi: 10.1186/s12911-020-1052-0.

D. Krstini?, M. Braovi?, L. eri?, and D. Boi?-tuli?, Multi-label Classifier Performance Evaluation with Confusion Matrix, pp. 0114, 2020, doi: 10.5121/csit.2020.100801.

R. AGUSTINA, R. MAGDALENA, and N. K. C. PRATIWI, Klasifikasi Kanker Kulit menggunakan Metode Convolutional Neural Network dengan Arsitektur VGG-16, ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron., vol. 10, no. 2, p. 446, 2022, doi: 10.26760/elkomika.v10i2.446.

D. Cahyanti, A. Rahmayani, and S. A. Husniar, Analisis performa metode Knn pada Dataset pasien pengidap Kanker Payudara, Indones. J. Data Sci., vol. 1, no. 2, pp. 3943, 2020, doi: 10.33096/ijodas.v1i2.13.

V. Mousavi, M. Varshosaz, and F. Remondino, Using information content to select keypoints for uav image matching, Remote Sens., vol. 13, no. 7, 2021, doi: 10.3390/rs13071302.

DOI: https://doi.org/10.31328/jointecs.v8i3.4607

Refbacks

  • There are currently no refbacks.