+7 (3822) 609-826
ДТ "Кванториум Псков"
Cистема распознавания жестов и синтеза речи "PGESTUREREC"
Этот проект может использоваться в общении c человеком с ограниченными возможностями или при работе с компьютерными или роботизированными системами.
Команда
- Греков СерафимРазработчикОбладатель малой научной медали, победитель международного форума научной молодежи "Шаг в будущее"
- Лубягин ИгорьНаставникМагистр вычислительной техники и электроэнергетики, педагог дополнительного образования
Проблематика
В России насчитывается, по разным источникам, от 9 до 13 миллионов глухонемых и слабослышащих людей. Из них от 500 тысяч до 1 миллиона - носители жестового языка. Их общение со слышащими людьми ограничивается тем. что слышащие не знают язык жестов
Актуальность
Система распознавания жестов на языке жестов — это технологическое решение, которое убирает проблемы общения, с которыми сталкиваются глухонемые люди. Эта инновационная система использует передовые алгоритмы и компьютерное зрение для анализа и интерпретации жестов рук, используемых на языке жестов. Захватывая и переводя эти жесты в соответствующий текст или произнесенные слова, система позволяет глухонемым людям эффективно общаться с другими людьми, которые могут не понимать язык жестов. Эта технология не только улучшает общение, но также способствует инклюзивности и доступности для людей с нарушениями слуха.
Аналоги
Цель и задачи
Разработка и исследование применения системы компьютерного зрения для распознавания жестов руки и синтеза речи
-
Изучить аналоги и основы жестового языка - Используя датасет изображений, обучить нейронную сеть на распознавание жестов руки человека
- Написать синтезатор речи для интерпретатора текста системы распознавания жестов руки
Стейкхолдеры и заказчики
Люди, которые также внесли свой вклад в проект
- Удальцова АннаСтейкхолдерАнна растит 9-летнего сына, не способного говорить. Я обратился к ней как потенциальному стейкхолдеру, она дала несколько советов, куда двигаться, рассказала о своем сыне, как он сейчас общается с друзьями и о других сложностях, с которыми он столкнулся.
- Антонов БорисСтейкхолдерЧеловек, который не говорит и не слышит, носитель жестового языка, поделился своим опытом, дал хорошие советы, от которых я отталкивался при реализации проекта.
Этапы выполнения проекта
1
Изучение аналогов
Анализ недостатков и недоработок чужих проектов
2
Анализ информации
Вынесение проблемы, цели, анализ актуальности и тд.
3
Знакомство со стейкхолдерами
Поиск людей, которые могли бы быть заинтересованы в проекте, как в реальной жизни, так и в интернет пространстве.
4
Выбор инструментов для работы
Языка программирования, библиотек для обучения, среды выполнения и написания кода
5
Набор базы данных и обучение ИИ
Набор базы данных для обучения модели нейронной сети (база фотографий жестов сделана самостоятельно), выбор архитектуры и параметров для обучения ИИ.
6
Добавление синтеза речи
Использование технологий text to speach, для синтезирования текста в речь и последующего озвучивания.
Экономика проекта
Описание
Экономика
Стоимость индивидуальной подписки на лицензированный инструмент "Pycharm" от компании "JetBrains".
3 376р
Стоимость затраченного времени (80+ часов реального времени)
77 560р
Себестоимость с уклоном на продажу 10000 цифровых копий
100р
Налог на доход
13%
Демонстрация
Результаты и перспективы проекта
- Перенос проекта на мобильные устройстваЭто поспособствует распространению проекта на большую аудиторию пользователей.
- Создание простого визуального интерфейсаИнтуитивный и понятный интерфейс, направленный на подавления потребности пользователя разбираться в работе системы.
- Присвоение титула "Лучший проект в сфере интеллектуальных компьютерных систем"На представлении проекта на международном форуме научной молодежи "Шаг в будущее".
Некоторые изображения, которые использовались в базе данных
Галерея
Рабочие материалы по проекту
Для подробного ознакомления
Понравился проект? Напишите нам
Виктория Зарецкая
заместитель директора по проектному управлению ДТ "Кванториум Псков"
Telegram: @zaretske