CYRA Lab · Модуль 05
Научите CYRA
Покажите жест — она выучит его за секунды.
Здесь модель обучаете вы: покажите CYRA свой жест, и она выучит его за несколько секунд и сразу узнает. Есть три ячейки для жестов: назовите их сами, обучите жестам по очереди, а потом проверьте CYRA.
- Работает на вашем устройстве
- ~11 МБ при первом запуске
- Модель: MediaPipe Gesture Recognizer · точки руки + ближайшие соседи (k-NN)
Как попробовать
Включите камеру. На панели рядом три ячейки для жестов; при желании переименуйте их.
Нажмите «Обучить» и держите жест 2–3 секунды; слегка поворачивайте руку, чтобы CYRA выучила его с разных сторон. Повторите для каждой ячейки.
Теперь показывайте жесты по очереди: CYRA называет узнанный жест, а панель показывает, насколько она уверена.
Разрешение на камеру используется только на этой странице и только когда вы её включаете.
Изображение не покидает ваше устройство: ни один кадр не записывается и не отправляется.
Выученные жесты
- примеров: 0
- примеров: 0
- примеров: 0
Сначала включите камеру.
Журнал CYRA
- Когда вы включите камеру, разговор начнётся здесь.
За кулисами
- В каждом кадре 21 точка суставов из модели руки выравнивается по запястью и делится на размер ладони, поэтому один и тот же жест даёт одни и те же числа и вблизи, и вдали.
- Распознавание идёт методом ближайших соседей (k-NN) по примерам, которые вы показали: обучение занимает секунды, всё в браузере. Хранятся только точки руки, а не изображения; при выключении камеры всё удаляется.
- Необученная форма руки не попадёт на случайное имя: если даже ближайший пример далёк, CYRA скажет, что не узнала её. Метод рассчитан на неподвижные формы одной руки; он может стать основой словаря жестового языка, где есть движение и обе руки, но сам по себе этого недостаточно.
Где это пригодится
- Персональное управление: панели и пульты, где каждый пользователь задаёт свои жесты.
- Быстрая настройка на объекте: научить устройство новому движению по нескольким примерам и сразу использовать.
- Доступность: пользователь, который не может говорить или слышать, обучает устройство своим жестам.
Примеры идей применения; подходящее решение для вашего проекта спроектируем вместе.
Следующий модуль
Что в кадре?
Всё, что в кадре, CYRA посчитает.
Что должен распознавать ваш проект?
Движение, предметы, людей или окружение: расскажите, что вам нужно, и спроектируем встроенное решение вместе.
Модели: Google MediaPipe Gesture Recognizer, Face Landmarker и EfficientDet-Lite0 (набор данных COCO), лицензия Apache-2.0. Голосовые ответы звучат встроенным голосом вашего браузера.