RNN기반 수어 번역 시스템 - 설계

제안

수어는 청각 장애인들의 주요 의사소통 수단 중 하나로, 비수어 사용자들에게는 익숙하지 않은 언어이기 때문에 이를 해결하기 위해 수어 번역 시스템을 제안한다.

본 프로젝트는 손 모양과 움직임을 기반으로 한 MediaPipe와 머신러닝 기술을 통합하여 수어를 효과적으로 번역하는 시스템을 제안한다. 이를 통해 언어적인 장벽을 극복하고, 실시간 통신 기능도 구현하여 의사소통의 품질을 향상시키는 데 주력하였다. 

 

사용 기술

• Image Processing
  • Python - opencv
  • Mediapipe
• Machine Learning
  • tensorflow, keras
  • RNN(LSTM, Bidirectional)
• Communication
  • Flask Server
  • HTTP
  • Socket.IO
• Application
  • Flutter(dart)

Architecture