Mittuniversitetet

miun.sePublikationer
Ändra sökning
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf
Towards Real-Time Vision-Based Sign Language Recognition on Edge Devices
Mittuniversitetet, Fakulteten för naturvetenskap, teknik och medier, Institutionen för data- och elektroteknik (2023-).
Mittuniversitetet, Fakulteten för naturvetenskap, teknik och medier, Institutionen för data- och elektroteknik (2023-).
Mittuniversitetet, Fakulteten för naturvetenskap, teknik och medier, Institutionen för data- och elektroteknik (2023-).ORCID-id: 0000-0002-8382-0359
2024 (Engelska)Ingår i: 2024 IEEE Sensors Applications Symposium, SAS 2024 - Proceedings, IEEE conference proceedings, 2024Konferensbidrag, Publicerat paper (Refereegranskat)
Abstract [en]

This paper presents a comparative study focused on the classification of American Sign Language (ASL) gestures and the challenges involved in interpreting the signs for effective communication. Using transfer learning this study evaluates three variants of MobileNet, a machine-learning model optimized for low-resource environments, on a vision-based dataset. The models are deployed on an STM32F746G microcontroller with a Cortex-M7 core. Two frameworks are compared, namely TensorFlow Lite for Microcontrollers and STM32Cube.AI. An ArduCam Mini camera with a maximum image resolution of 5 megapixels is utilized to capture the hand gestures. The study concludes that STM32Cube.AI is the preferred implementation due to its lower model ROM and RAM requirements. Among the three tested models, MobileNetV1 is the most suitable for the task, achieving the highest F1-score of 0.865, the smallest memory footprint of 290.96 kB of ROM and 85.59 kB of RAM, and the shortest inference time of 103 ms. Despite these promising results, the models encountered some difficulties distinguishing between similar signs, highlighting the challenges involved in real-time sign language recognition and the need for further research. 

Ort, förlag, år, upplaga, sidor
IEEE conference proceedings, 2024.
Nyckelord [en]
American sign language, computer vision, embedded machine learning, embedded systems, TinyML, transfer learning
Nationell ämneskategori
Datorsystem
Identifikatorer
URN: urn:nbn:se:miun:diva-52587DOI: 10.1109/SAS60918.2024.10636604ISI: 001304520300093Scopus ID: 2-s2.0-85203713331ISBN: 9798350369250 (tryckt)OAI: oai:DiVA.org:miun-52587DiVA, id: diva2:1900668
Konferens
2024 IEEE Sensors Applications Symposium, SAS 2024 - Proceedings
Tillgänglig från: 2024-09-24 Skapad: 2024-09-24 Senast uppdaterad: 2024-11-25Bibliografiskt granskad

Open Access i DiVA

Fulltext saknas i DiVA

Övriga länkar

Förlagets fulltextScopus

Person

Bader, Sebastian

Sök vidare i DiVA

Av författaren/redaktören
Trpcheska, AngelaBader, Sebastian
Av organisationen
Institutionen för data- och elektroteknik (2023-)
Datorsystem

Sök vidare utanför DiVA

GoogleGoogle Scholar

doi
isbn
urn-nbn

Altmetricpoäng

doi
isbn
urn-nbn
Totalt: 41 träffar
RefereraExporteraLänk till posten
Permanent länk

Direktlänk
Referera
Referensformat
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Annat format
Fler format
Språk
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Annat språk
Fler språk
Utmatningsformat
  • html
  • text
  • asciidoc
  • rtf