Сравнительное исследование моделей распознавания жестов в медицинском контексте с MediaPipe

Аннотация

Ожидается, что к 2050 году около 2,5 миллиарда человек будут иметь ту или иную степень потери слуха, при этом не менее 700 миллионов из них будут нуждаться в реабилитации слуха. Увеличение числа таких пациентов подчеркивает актуальность решения проблем коммуникации, с которыми сталкиваются глухие и слабослышащие люди, особенно в таких критически важных сферах, как здравоохранение.

В Казахстане пациенты с нарушениями слуха испытывают трудности при общении с медицинским персоналом из-за ограниченности или отсутствия эффективных инструментов перевода казахского языка жестов (KSL). Настоящее исследование направлено на устранение этой проблемы путем сравнения различных моделей распознавания динамических жестов с применением технологии MediaPipe для предварительной обработки данных. Основным вкладом работы стало создание нового набора данных KMSG11, содержащего термины, связанные со здоровьем и медициной на казахском языке жестов. Разработанная модель, основанная на архитектуре долговременной кратковременной памяти (LSTM), была сопоставлена с моделями из других научных работ. Все модели были обучены и протестированы на двух наборах данных – KMSG11 и аргентинском наборе данных языка жестов (LSA20) – с использованием одинаковой методики предварительной обработки через MediaPipe, что обеспечило объективность сравнения. Процесс включал подготовку видеоданных, обучение моделей и оценку их эффективности. Полученные результаты демонстрируют потенциал предложенного подхода для улучшения коммуникации, диагностики и лечения, а также повышения доступности качественной медицинской помощи для глухих пациентов в Казахстане.