Prediksi Gerakan secara Real-Time untuk Pengenalan Bahasa Isyarat menggunakan LSTM

Authors

  • Vira Yolanda Gunadarma University
  • Widya Silfianti Gunadarma University

DOI:

https://doi.org/10.31328/jointecs.v8i3.4607

Keywords:

kecerdasan buatan, pembelajaran mendalam, bahasa isyarat, prediksi gerakan, LSTM, mediapipe holistic

Abstract

Bahasa Isyarat merupakan bahasa yang digunakan untuk berkomunikasi khususnya bagi penyandang tunarungu dan tuna wicara agar dapat saling berkomunikasi dengan baik. Namun karena minimnya pendidikan di masyarakat, bahasa isyarat jarang digunakan, bahkan banyak yang tidak mengetahui bahasa isyarat. Maka diperlukan suatu sistem untuk mengenali bahasa isyarat agar lebih banyak orang yang memahami bahasa isyarat. Dalam penelitian ini, kami mengembangkan deteksi gerakan dinamis untuk pengenalan 6 kata dalam bahasa isyarat Indonesia (SIBI) dengan memanfaatkan perubahan koordinat secara real-time yang dideteksi menggunakan MediaPipe Holistic dan model klasifikasi LSTM Neural Network.  Dari hasil pengujian yang telah dilakukan dapat disimpulkan bahwa hasil implementasi Sistem Pengenalan Bahasa Isyarat secara real-time dengan memanfaatkan perubahan koordinat menggunakan metode MediaPipe Holistic dan Long Short Term Memory (LSTM) diperoleh sebuah model dengan nilai akurasi 96%. Akurasi yang diperoleh sebesar 96% artinya model tersebut akurat dalam mengklasifikasikan kelas-kelas gerakan. Setiap kelas memiliki nilai presisi, recall, f1-score dan support yang sangat baik dengan rata-rata 96%.  

Author Biographies

Vira Yolanda, Gunadarma University

Program Studi Magister Manajemen Sistem Informasi

Widya Silfianti, Gunadarma University

Program Studi Magister Manajemen Sistem Informasi

References

H. Luqman, E. S. M. El-Alfy, and G. M. BinMakhashen, “Joint Space Representation And Recognition Of Sign Language Fingerspelling Using Gabor Filter And Convolutional Neural Network,” Multimed. Tools Appl., vol. 80, no. 7, pp. 10213–10234, 2021, doi: 10.1007/s11042-020-09994-0.

G. Malathi, “Indian Sign Language Using Holistic Pose Detection,” vol. 32, no. 3, pp. 19746–19752.

C. K. M. Lee, K. K. H. Ng, C. H. Chen, H. C. W. Lau, S. Y. Chung, and T. Tsoi, “American Sign Language Recognition And Training Method With Recurrent Neural Network,” Expert Syst. Appl., vol. 167, no. April, 2021, doi: 10.1016/j.eswa.2020.114403.

Y. Che, C. B. Sivaparthipan, and J. Alfred Daniel, “Human-Computer Interaction on IoT-Based College Physical Education,” Arab. J. Sci. Eng., no. 0123456789, 2021, doi: 10.1007/s13369-021-05895-y.

A. Rahagiyanto, “Identifikasi Ekstraksi Fitur untuk Gerakan Tangan dalam Bahasa Isyarat (SIBI) Menggunakan Sensor MYO Armband,” MATRIK J. Manajemen, Tek. Inform. dan Rekayasa Komput., vol. 19, no. 1, pp. 127–137, 2019, doi: 10.30812/matrik.v19i1.510.

??, “A Review of Vision Based Dynamic Hand Gestures Recognition,” Comput. Sci. Appl., vol. 10, no. 05, pp. 990–1001, 2020, doi: 10.12677/csa.2020.105102.

A. Moryossef, I. Tsochantaridis, R. Aharoni, S. Ebling, and S. Narayanan, “Real-Time Sign Language Detection using Human Pose Estimation,” Lect. Notes Comput. Sci. (including Subser. Lect. Notes Artif. Intell. Lect. Notes Bioinformatics), vol. 12536 LNCS, pp. 237–248, 2020, doi: 10.1007/978-3-030-66096-3_17.

Y. Wu et al., “A Computer Vision-Based Yoga Pose Grading Approach Using Contrastive Skeleton Feature Representations,” Healthc., vol. 10, no. 1, pp. 1–12, 2022, doi: 10.3390/healthcare10010036.

A. Halder and A. Tayade, “International Journal of Research Publication and Reviews Real-time Vernacular Sign Language Recognition Using MediaPipe And Machine Learning,” no. 2, pp. 9–17, 2021.

M. Mohammed and K. Ibrahim, “Eye Blinking For Command Generation Based on Deep Learning,” vol. 13, no. 4, pp. 22–29, 2022.

G. Saggio, P. Cavallo, M. Ricci, V. Errico, J. Zea, and M. E. Benalcázar, “Sign Language Recognition Using Wearable Electronics: Implementing K-nearest Neighbors With Dynamic Time Warping And Convolutional Neural Network Algorithms,” Sensors (Switzerland), vol. 20, no. 14, pp. 1–14, 2020, doi: 10.3390/s20143879.

Y. Liao, P. Xiong, W. Min, W. Min, and J. Lu, “Dynamic Sign Language Recognition Based on Video Sequence With BLSTM-3D Residual Networks,” IEEE Access, vol. 7, no. c, pp. 38044–38054, 2019, doi: 10.1109/ACCESS.2019.2904749.

S. Shin and W. Y. Kim, “Skeleton-Based Dynamic Hand Gesture Recognition Using a Part-Based GRU-RNN for Gesture-Based Interface,” IEEE Access, vol. 8, pp. 50236–50243, 2020, doi: 10.1109/ACCESS.2020.2980128.

M. H. Ismail, S. A. Dawwd, and F. H. Ali, “Static Hand Gesture Recognition Of Arabic Sign Language By Using Deep CNNs,” Indones. J. Electr. Eng. Comput. Sci., vol. 24, no. 1, pp. 178–188, 2021, doi: 10.11591/ijeecs.v24.i1.pp178-188.

S. Mittal and O. P. Sangwan, “Big Data Analytics Using Deep LSTM Networks: A Case Study For Weather Prediction,” Adv. Sci. Technol. Eng. Syst., vol. 5, no. 2, pp. 133–137, 2020, doi: 10.25046/aj050217.

Y. Bin Wang, Z. H. You, S. Yang, H. C. Yi, Z. H. Chen, and K. Zheng, “A deep learning-based method for drug-target interaction prediction based on long short-term memory neural network,” BMC Med. Inform. Decis. Mak., vol. 20, Mar. 2020, doi: 10.1186/s12911-020-1052-0.

D. Krstini?, M. Braovi?, L. Šeri?, and D. Boži?-Štuli?, “Multi-label Classifier Performance Evaluation with Confusion Matrix,” pp. 01–14, 2020, doi: 10.5121/csit.2020.100801.

R. AGUSTINA, R. MAGDALENA, and N. K. C. PRATIWI, “Klasifikasi Kanker Kulit menggunakan Metode Convolutional Neural Network dengan Arsitektur VGG-16,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron., vol. 10, no. 2, p. 446, 2022, doi: 10.26760/elkomika.v10i2.446.

D. Cahyanti, A. Rahmayani, and S. A. Husniar, “Analisis performa metode Knn pada Dataset pasien pengidap Kanker Payudara,” Indones. J. Data Sci., vol. 1, no. 2, pp. 39–43, 2020, doi: 10.33096/ijodas.v1i2.13.

V. Mousavi, M. Varshosaz, and F. Remondino, “Using information content to select keypoints for uav image matching,” Remote Sens., vol. 13, no. 7, 2021, doi: 10.3390/rs13071302.

Downloads

Published

2023-09-30

Issue

Vol. 8 No. 3 (2023)

Section

Articles

License

Pernyataan Hak Cipta dan Lisensi

Hak Cipta :

Penulis yang mempublikasikan naskahnya pada Jurnal ini menyetujui ketentuan berikut:

Hak cipta pada setiap artikel adalah milik penulis.

  1. Penulis mengakui bahwa JOINTECS (JOURNAL OF INFORMATION TECHNOLOGY AND COMPUTER SCIENCE) berhak sebagai yang mempublikasikan pertama kali dengan lisensi Creative Common Attribution-ShareAlike 4.0 International (CC BY-SA 4.0).
  2. Penulis dapat memasukan tulisan secara terpisah, mengatur distribusi non-ekskulif  dari naskah yang telah terbit di jurnal ini kedalam versi yang lain (misal: dikirim ke respository institusi penulis, publikasi kedalam buku, dll), dengan mengakui bahwa naskah telah terbit pertama kali pada JOINTECS (JOURNAL OF INFORMATION TECHNOLOGY AND COMPUTER SCIENCE);

Lisensi :

JOINTECS diterbitkan berdasarkan ketentuan Creative Common Attribution-ShareAlike 4.0 International (CC BY-SA 4.0). Lisensi ini mengizinkan setiap orang untuk menyalin dan menyebarluaskan kembali materi ini dalam bentuk atau format apapun, menggubah, mengubah, dan membuat turunan dari materi ini untuk kepentingan apapun, termasuk kepentingan komersial, selama mereka mencantumkan kredit kepada Penulis atas ciptaan asli.

This work is Under licensed

Creative Common Attribution-ShareAlike 4.0 International (CC BY-SA 4.0)