В рамках реализации одного из проектов по созданию инклюзивного цифрового интерфейса, компания «Открытый код» приступила к тренировке искусственного интеллекта на распознавание русского жестового языка (РЖЯ). Особое внимание уделяется точной интерпретации ключевых слов и фраз, используемых в повседневном и официальном общении глухих и слабослышащих людей.

Для подготовки обучающего датасета команда «Открытого кода» организовала съёмки в профессиональной студии, пригласив участников из сообщества слабослышащих — носителей РЖЯ. В течение нескольких дней десятки волонтёров «наговорили» с помощью жестов сотни ключевых лексем: от базовых бытовых понятий до специализированных терминов. Каждый жест был зафиксирован с нескольких ракурсов при оптимальном освещении и фоне, чтобы обеспечить максимальную точность последующего анализа нейросетью.

Полученные видеозаписи станут основой для обучения моделей компьютерного зрения и мультимодальных алгоритмов, способных не только распознавать отдельные жесты, но и учитывать контекст, мимику, положение тела и темп речи - всё то, без чего понимание РЖЯ невозможно.

Участие самих носителей РЖЯ на всех этапах - от сбора данных до тестирования модели - гарантирует уважительное и корректное представление языка. Такой подход помогает избежать стереотипов и ошибок, часто возникающих при «внешнем» моделировании жестовой речи. Более того, проект создаёт прецедент: ИИ обучается не «о людях с ограниченными возможностями», а вместе с ними, как равноправными соавторами технологического процесса.