CYRA Lab · Модуль 04
Тихий разговор
Поймите друг друга без слов.
Говорите с CYRA жестами: помашите, чтобы поздороваться, покажите большим пальцем, как вы, покажите число пальцами. CYRA читает каждый жест и отвечает текстом, а при желании и голосом.
- Работает на вашем устройстве
- ~11 МБ при первом запуске
- Модель: MediaPipe Gesture Recognizer · скелет руки (21 точка)
Как попробовать
Включите камеру и поднесите руку в кадр — CYRA нарисует её скелет.
Помашите: CYRA поздоровается и спросит, как вы.
Большой палец вверх или вниз, затем от одного до пяти пальцев и, наконец, жест «я тебя люблю»: разговор идёт шаг за шагом.
Разрешение на камеру используется только на этой странице и только когда вы её включаете.
Изображение не покидает ваше устройство: ни один кадр не записывается и не отправляется.
Словарь жестов
- Взмах · привет: текущий шаг
- Большой палец · как вы?
- Пальцы · число
- Жест «я тебя люблю»
Вижу жест
—
Открытых пальцев
—
Жесты, которые знает CYRA
- Открытая ладонь
- Палец вверх
- Палец вниз
- Я тебя люблю
- Победа
- Указательный вверх
- Кулак
Журнал CYRA
- Когда вы включите камеру, разговор начнётся здесь.
Честно: этот модуль не переводчик языка жестов, а небольшой словарь жестов CYRA. Готовые модели турецкого жестового языка (TID), которые мы нашли, либо без лицензии, либо обучены на данных только для исследований. Обучить модель TID на собственном наборе данных — следующий шаг, который мы рассматриваем.
За кулисами
- Модель руки в каждом кадре выдаёт 21 точку суставов и семь готовых жестов: открытая ладонь, кулак, большой палец вверх и вниз, победа, указательный вверх, «я тебя люблю».
- Пальцы мы считаем сами — по расстоянию суставов от запястья; масштаб привязан к размеру ладони, поэтому результат одинаков и вблизи, и вдали.
- Дрожание в одном кадре не считается: жест принимается через полсекунды, число — через секунду без перерыва.
Где это пригодится
- Бесконтактное управление: свет, шторы или пергола без прикосновения к панели мокрыми или грязными руками.
- Шумные места: подтверждение жестом в цехах и на объектах, где голос не помогает.
- Доступность: интерфейсы, которым не нужны ни речь, ни слух, и которые отвечают текстом.
Примеры идей применения; подходящее решение для вашего проекта спроектируем вместе.
Следующий модуль
Научите CYRA
Покажите жест — она выучит его за секунды.
Что должен распознавать ваш проект?
Движение, предметы, людей или окружение: расскажите, что вам нужно, и спроектируем встроенное решение вместе.
Модели: Google MediaPipe Gesture Recognizer, Face Landmarker и EfficientDet-Lite0 (набор данных COCO), лицензия Apache-2.0. Голосовые ответы звучат встроенным голосом вашего браузера.