minus added

.gitmodules

@@ -0,0 +1,4 @@
+[submodule "submodules/OAK-HumanPoseEstimation"]
+	path = submodules/OAK-HumanPoseEstimation
+	url = https://github.com/kschlegel/OAK-HumanPoseEstimation.git
+	branch = main

README.md

@@ -1,168 +1,417 @@
-## О проекте
-Проект позволяет управлять роботом (в симуляторе) с помощью жестов рук, распознаваемых через камеру. Используется MediaPipe для детекции скелета.
+# Распознавание жестов на основе скелета
+Проект позволяет распознавать статические и динамические жесты человека по данным скелета, полученным с помощью MediaPipe (или OAK‑камеры). Реализованы:
+- детекция скелета (33 ключевые точки);
+- геометрическое и ML‑распознавание специальных жестов (например, «домик», «крест»);
+- сбор и разметка собственных наборов данных;
+- обучение моделей (MLP, Random Forest, Logistic Regression – для статики; LSTM – для динамики);
+- оценка качества моделей.
+
+**Проект не включает симулятор робота или управление движением** – это отдельный репозиторий. Здесь представлена только библиотека распознавания жестов.
 
 ## Структура проекта
 ```
-gesture_robot/
+gesture_rec/
 ├── camera                       # Методы для захвата видеоряда с разных источников
 │   ├── base_camera.py           # Базовый класс
 │   ├── factory.py               # Конвейер создания камеры
 │   ├── oak_camera.py            # Реализация для oak
 │   └── web_camera.py            # Реализация для web
-├── skeleton/               # Детекция скелета (MediaPipe)
-│   └── mediapipe_detector.py
-├── gesture_control/        # Управление жестами
-│   └── special_gestures.py # Специальные жесты по геометрии
-├── ml_gestures/            # ML для специальных жестов
-│   ├── feature_extractor.py
-│   ├── predict.py
-│   └── train.py
+├── skeleton/                    # Детекция скелета
+│   ├── oak_pose_detector.py     # Детектор на oak (efficienthrnet)
+│   └── mediapipe_detector.py    # MediaPipe
+├── gesture_control/
+│   ├── arm_control.py           # Преобразование позы в значения для угловой и линейной скоростей
+│   └── special_gestures.py      # Специальные жесты (геометрия или ML)
+├── ml_gestures/                 # ML для статичных жестов
+│   ├── feature_extractor.py     # Нормализация landmarks
+│   ├── predict.py               # класс-обёртка для предсказания
+│   └── train.py                 # обучение классификаторов
 ├── ml_gestures_dynamic/         # ML для динамических жестов
 │   ├── feature_extractor.py
-│   ├── sequence_utils.py
-│   ├── predict.py
-│   ├── evaluate.py
-│   └── train.py
-└── utils/                  # Вспомогательные скрипты
-    ├── annotate.py         # Разметка изображений
-    ├── capture_photo.py    # Съёмка фото с камеры
-    └── record_dynamic.py   # Разметка видеопоследовательности
+│   ├── sequence_utils.py        # Загрузка данных
+│   ├── predict.py               # Класс для предсказания (с буфером)
+│   ├── evaluate.py              # Оценка LSTM
+│   └── train.py                 # Обучение LSTM
+├── utils/                       # Вспомогательные скрипты
+│   ├── annotate.py              # Разметка изображений
+│   ├── capture_photo.py         # Съёмка фото с камеры
+│   └── record_dynamic.py        # Разметка видеопоследовательности
+└── submodules                   # Внешние зависимости (git submodule)
+    └── OAK-HumanPoseEstimation  # Репозиторий для работы с OAK
 ```
 
-## Подготовка и запуск
-
-### Установка зависимостей
-
-    pip install -r requirements.txt
-
-### Настройка параметров
-Все основные параметры вынесены в `config.py`. Основные:
-- `CAMERA_ID` - индекс камеры (по умолчанию 0)
-- `MIRROR_CAMERA` - зеркальное отображение (True для фронтальной камеры).
-- `ARM_CONTROL` - настройки управления жестами (геометрией) управления
-    - `linear_arm` - рука, отвечающая за изменение линейной скорости
-    - `angular_arm` - рука, отвечающая за изменение угловой скорости
-    - `max_speed_linear` - максимальная линейная скорость (по умолчанию 1)
-    - `max_speed_angular` - максимальная угловая скорость (по умолчанию 1)
-    - `dead_zone` - мёртвая зона - доля от ширины плеч/высоты торса (по умолчанию 0.2) для предотвращения ложных срабатываний
-    - `debug` - Режим отладки, вкл/выкл логи (по умолчанию False)
-- `SPECIAL_GESTURE_MODE` - способ детекции специальных статических жестов (ml или geometric)
-- `ML_GESTURE_MODEL` - путь до весов ml модели статических жестов
-- `ML_GESTURE_CLASSES` - список классов детектируемых жестов, + none
-- `ROBOT_MODE` - simulator (мини игра проехать роботом мимо препятствий) или dummy (простой модуль, пишуший отправленную команду, для первичной отладки)
-- `ROBOT_IMAGE_PATH` - путь до картинки робота, который будет ездить в симуляции (если не указать будет треугольник просто)
-- параметры для симулятора карты:
-    - `MAP_WIDTH` - ширина карты
-    - `MAP_HEIGHT` - высота карты
-    - `MAP_OBSTACLES` - лист препятствий в формате (x, y, width, height)
-    - `START_POS` - стартовая позиция робота
-    - `FINISH_POS` - позиция финиша
-    - `ROBOT_RADIUS` - радиус робота
-
-### Примеры запуска
-#### Запуск с геометрическим распознаванием
-1. Настройте `config.py`:
-    - `MIRROR_CAMERA = True` – для фронтальной камеры.
-    - `SPECIAL_GESTURE_MODE = 'geometric'`.
-2. Запустите основной скрипт:
+## Установка и настройка
+### 1. Клонирование репозитория
 ```
-python3 main.py
+git clone --recursive https://git.robofob.ru/sirius/gesture_rec.git
+cd gesture_rec
+```
+Если вдруг уже склонировали без `--recursive`, выполните подгрузку модулей:
+```
+cd gesture_rec
+git submodule update --init --recursive
+```
+### 2. Создание виртуального окружения
+Рекомендуется использовать виртуальное окружение и Python 3.10:
+```
+python3.10 -m venv venv
+source venv/bin/activate
 ```
-3. Запустится симулятор и изображение с камеры
 
-#### Запуск с ML-распознаванием статических жестов
-1. Соберите датасет с нужными изображениями фото. Можете заснять собственные через `utils/capture_photo.py`:
+Если у вас не скачен питон этой версии, сначала выполните:
 ```
-python3 -m utils/capture_photo.py --dir data/raw
+sudo apt install python3.10 python3.10-venv
 ```
+
+Если у нас не устанавливается питон 3.10, то это потому что он отсутствует в официальных репозиториях по умолчанию, надо добавить репозиторий перед скачиванием:
+```
+sudo apt update && sudo apt install -y software-properties-common
+sudo add-apt-repository ppa:deadsnakes/ppa
+sudo apt update
+```
+
+To install pip:
+
+    sudo apt install -y python3-pip
+
+### 3. Установка зависимостей
+
+### 3.1. Способ 1
+
+Сделайте bash скрипт исполняемым и запустите последовательность установки:
+
+    chmod +x install_deps.sh
+    ./install_deps.sh
+    
+### 3.2. Способ 2
+
+Вручную:
+
+    pip install --upgrade pip
+    pip install numpy==1.24.3
+    pip install pandas==2.0.3
+    pip install pyyaml
+    pip install opencv-python==4.12.0.88
+    pip install opencv-python-headless==4.12.0.88
+    pip install matplotlib==3.7.5
+    pip install protobuf==3.20.3
+    pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu
+    pip install --no-deps mediapipe==0.10.11
+    pip install attrs
+    pip install scikit-learn==1.3.2
+    pip install joblib==1.4.2
+    pip install depthai==2.28.0
+    pip install --no-deps tensorflow==2.13.1
+    pip install \
+        absl-py \
+        astunparse \
+        flatbuffers \
+        gast \
+        google-pasta \
+        grpcio \
+        h5py \
+        keras==2.13.1 \
+        libclang \
+        opt-einsum \
+        tensorboard==2.13.0 \
+        tensorflow-estimator==2.13.0 \
+        termcolor \
+        wrapt \
+        requests
+    pip install numpy==1.24.3
+    pip install scipy==1.11.0
+
+#### Типичные проблемы во время установки:
+Важно: красные предупреждения о нехватке зависимостей для tensorflow будут, но можно их игнорировать, т.к. эти модули не используются в данном проекте, а их установка мешает зависимостям MediaPipe.
+
+1. Если будет ошибка с `"AttributeError: google..."` но это потому что `tensorflow` подменяет версию библиотеки `protobuf`, выполните:
+```
+pip uninstall protobuf google protobuf
+pip install protobuf==3.20.3
+```
+Примечание: если у вас слабая видеокарта или нет CUDA, используйте `tensorflow-cpu` вместо `tensorflow`.
+
+2. Если будет проблема с функцией cv2.imshow() то, переустановите cv2 без заголовков:
+```
+pip uninstall opencv-python opencv-python-headless
+pip install opencv-python==4.12.0.88
+```
+3. Если будет ошибка с PIL, попробуйте обновить библиотеку:
+```
+pip upgrage pillow
+```
+4. **Внимание:** если вам пришлось делать после основной установки какие-то дополнительные, обязательно зафиксируйте еще раз версию numpy!
+```
+pip install numpy==1.24.3
+```
+    
+### 4. Проверка работы камеры
+Для веб-камеры достаточно, чтобы она была доступна по индексу (встроенная 0). Для OAK-D потребуется подключить устройство и установить права доступа (сделать это надо один раз):
+1. Подключите камеру по usb, если сразу запустите скрипт, то вылетит с ошибкой `No available devices`.
+2. Выполните команду:
+```
+echo 'SUBSYSTEM=="usb", ATTRS{idVendor}=="03e7", MODE="0666"' | sudo tee /etc/udev/rules.d/80-movidius.rules
+```
+3. Затем:
+```
+sudo udevadm control --reload-rules && sudo udevadm trigger
+```
+4. После этого отключите камеру от USB и подключите снова. Теперь камера должна быть доступна.
+
+Также OAK-D можно использовать, чтобы прям на камере выполнять вычисление скелета, для этого убедитесь, что модуль `OAK-HumanPoseEstimation` загружен - его код используется в `skeleton/oak_pose_detector.py`.
+
+Затем перейдите в эту подпапку и скачайте модели детектирования скелета:
+
+```
+cd submodules/OAK-HumanPoseEstimation/models/
+wget "https://drive.google.com/uc?export=download&id=1AUszSCMSc5dCATnZn1jK8PzMMyLQ__5M" -O models.zip
+unzip models.zip
+```
+Если команда не работает, просто перейдите по ссылке в браузере и скачайте вручную.
+## Работа с проектом
+
+Все скрипты (обучение, сбор данных, оценка) рассчитаны на запуск из корневой директории проекта.
+
+### 0. Распознавание скелета
+#### 0.1. MediaPipe
+
+Основной класс – `skeleton.mediapipe_detector.MediaPipeDetector`. Этот детектор должен принимать на вход изображение:
+
+```
+from skeleton.mediapipe_detector import MediaPipeDetector
+
+detector = MediaPipeDetector(model_complexity=1, min_detection_confidence=0.5)
+result = detector.detect(frame_bgr)
+if result['success']:
+    landmarks = result['landmarks']   # (33,4) – x, y, z, visibility
+    # для отрисовки:
+    vis = detector.draw_landmarks(frame, result['pose_landmarks'])
+```
+
+Параметры:
+- `model_complexity` – 0 (лёгкая), 1 (средняя) или 2 (тяжёлая). Влияет на точность и FPS.
+- `min_detection_confidence` – порог уверенности для детекции (0.5–0.9).
+
+**Важно**: этой модели нужно получать само изображение, поэтому тип камеры для неё не важен, работает со всеми.
+
+#### 0.2. На борту OAK
+
+Для экономии ресурсов, можно детектировать скелет сразу с камеры. Такой метод работает **только с OAK камерой, и недоступен для web**. Класс - `skeleton.oak_pose_detector.OakPoseDetector`. Хоть функционал похож с детектором MediaPipe - основное отличие в том, что нельзя подать на вход изображение.
+
+```
+from skeleton.oak_pose_detector import OakPoseDetector
+
+detector = OakPoseDetector(
+            model_type='efficienthrnet1',
+            detection_threshold=0.2,
+            shaves=6
+        )
+frame, landmarks = detector.get_frame_and_pose()
+# для отрисовки:
+vis = detector.draw_landmarks(frame, landmarks)
+```
+
+Подробнее о параметрах модели в [репозитории](https://github.com/kschlegel/OAK-HumanPoseEstimation.git).
+
+### 1. Определение значений скоростей
+По умолчанию преобразование позы в скорости реализовано в классе `ArmController` (файл `arm_control.py`).
+
+Чтобы изменить логику управления, выполните одно из действий:
+1. Изменить метод `compute_speeds` в `arm_control.py` – он должен принимать аргумент landmarks (список из 33 точек MediaPipe) и возвращать кортеж (linear, angular) – числа с плавающей точкой.
+2. Создать свой класс-наследник от `ArmController` и переопределить `compute_speeds`. Затем в `main.py` заменить создание экземпляра на свой класс.
+
+После этого не забудьте изменить параметры словаря `ARM_CONTROL`, вы можете добавлять туда свои поля и читать их в методе. Текущий класс создается и используется следующим образом:
+```
+from gesture_control.arm_control import ArmController
+
+mirror = True # для всех фронтальных камер
+ARM_CONTROL = {
+        'linear_arm': 'right',
+        'angular_arm': 'left',
+        'max_speed_linear': 1.0,
+        'max_speed_angular': 1.0,
+        'dead_zone': 0.2,
+        'debug': False
+    }
+arm_control = ArmController(ARM_CONTROL, mirror=mirror)
+linear, angular = arm_control.compute_speeds(landmarks) # Дальше эти скорости можно подавать на контроллер
+```
+- `ARM_CONTROL` – словарь:
+    - `linear_arm` – рука для линейной скорости ('left' или 'right')
+    - `angular_arm` – рука для угловой скорости
+    - `max_speed_linear` – макс. линейная скорость (м/с)
+    - `max_speed_angular` – макс. угловая скорость (рад/с)
+    - `dead_zone` – зона нечувствительности (0.0–1.0)
+    - `debug` – выводить отладочную информацию в консоль
+
+### 2. Геометрическое распознавание жестов
+Класс `SpecialGestureDetector` в режиме `mode='geometric'` анализирует координаты скелета и применяет набор правил.
+
+На текущий момент геометрически распознаются два жеста:
+- "домик"
+- "крест"
+
+Все пороги (уверенность `min_conf`, коэффициенты) заданы внутри `_geometric_predict` и могут быть подстроены под ваши условия. Чтобы распознавать собственный жест, отредактируйте метод `_geometric_predict` в файле `gesture_control/special_gestures.py`.
+
+#### 2.1. Порядок действий:
+1. Определите, какие ключевые точки MediaPipe участвуют в жесте (список индексов см. в коде или в документации MediaPipe).
+2. Напишите условие, используя координаты `(x, y)` нужных точек. Например, жест «рука в сторону»: `left_wrist[0] > left_shoulder[0] + width` и `right_wrist[0] < right_shoulder[0] - width`.
+3. Вставьте проверку до финального return 'none', чтобы при совпадении условий возвращать строку с именем вашего жеста.
+
+Пример добавления жеста "руки в стороны":
+```
+arms_out = (l_wr[0] > l_sh[0] + shoulder_width*0.5 and 
+            r_wr[0] < r_sh[0] - shoulder_width*0.5)
+if arms_out:
+    return 'arms_out'
+```
+**Важно:** геометрический режим не требует обучения, но чувствителен к позе и ракурсу. Для более сложных жестов рекомендуем использовать ML.
+
+#### 2.2. Использование в коде:
+```
+from gesture_control.special_gestures import SpecialGestureDetector
+detector = SpecialGestureDetector(mode='geometric')
+gesture = detector.predict(landmarks) # вернет none или название жеста
+```
+### 3. ML-распознаванием статичных жестов
+Распознавание отдельных кадров с помощью обученного классификатора.
+#### 3.1. Сбор датасета
+Создай папку для изображений. Можешь поместить туда фотографии жестов из интернета. Либо же можешь самостоятельно снять изображения с камеры:
+Скрипт `utils/capture_photo.py` сохраняет изображения с камеры.
+```
+python3 utils/capture_photo.py --dir data/raw --camera_type web
+```
+Параметры запуска:
+- `--dir` - папка для сохранения (по умолчанию `captured` в корне проекта).
+- `--camera` - ID веб-камеры (по умолчанию 0).
+- `--camera_type` - `web` или `oak` (по умолчанию `web`).
+- `--no-mirror` - отключить зеркалирование (по умолчанию включено).
+
+Управление: `s` – начать обратный отсчёт (3 сек) и сохранить фото, `q` – выход.
 Нажмите `s`, подождите 3 секунды, фото сохранится в папку `data/raw`. Нажмите `q` чтобы закончить.
 
-2. Разметьте фото с помощью аннотатора:
+#### 3.2. Разметка
+Скрипт `utils/annotate.py` показывает каждое фото с распознанным скелетом и позволяет назначить класс:
 ```
-python3 -m utils/annotate.py --folder data/raw --classes dome,cross,none --output data.csv
+python3 utils/annotate.py --folder data/raw --classes dome,cross,none --output data.csv
 ```
-Для каждого фото нажмите цифру, соответствующую жесту (1–dome, 2–cross, 3–none), или n для пропуска. При выходе данные сохранятся в `data.csv`.
+Параметры запуска:
+- `--folder` – папка с изображениями.
+- `--classes` – список классов через запятую (порядок соответствует цифрам 1,2,3…).
+- `--output` – выходной CSV (по умолчанию gesture_data.csv).
+- `--max_display_size` – размер окна для предпросмотра (ширина,высота, по умолчанию 800,600).
 
-3. Обучите модель
-```
-python3 -m ml_gestures/train.py --csv data.csv --model ml_gestures/models/special_model.pkl --type mlp --balance --target_classes dome,cross
-```
-Параметр `balance` уменьшит целевые классы (в параметре `target_classes`) до размера наименьшего из них, чтобы избежать перекоса. Класс none остаётся неизменным.
+Управление: для каждого фото нажмите цифру, соответствующую жесту (1–dome, 2–cross, 3–none), или `n` для пропуска или `q` – выйти. При выходе данные сохранятся в `gesture_data.csv`. CSV с колонками `class`, `f0…f98` (99 нормализованных координат).
 
-4. Оценка модели
+#### 3.3. Обучение модели
+```
+python3 ml_gestures/train.py --csv data.csv --model ml_gestures/models/special_model.pkl --type mlp --balance --target_classes dome,cross
+```
+Параметры запуска:
+- `--csv` – путь к размеченному CSV (обязательно).
+- `--model` – путь для сохранения модели (обязательно, расширение .pkl).
+- `--type` – тип модели: linear (Logistic Regression), mlp (MLPClassifier) или rf (RandomForestClassifier). По умолчанию mlp.
+- `--test_size` – доля тестовой выборки (по умолчанию 0.2).
+- `--random_state` – seed для воспроизводимости (по умолчанию 42).
+- `--balance` – если указан, балансирует целевые классы (указанные в --target_classes) до минимального размера среди них. Класс none не трогается.
+- `--target_classes` – список классов для балансировки через запятую (по умолчанию все классы, кроме none).
+
+После обучения сохраняются модель и отчёт `special_model_report.json` с метриками (accuracy, precision/recall/f1 по классам, матрица ошибок).
+
+#### 3.4. Оценка модели
 После обучения модель сохраняется, и создаётся отчёт `special_model_report.json` с метриками (`accuracy`, `precision`, `recall`, `f1`, `confusion matrix`). Для повторной оценки используйте:
 ```
-python3 -m ml_gestures/evaluate.py --csv data.csv --model ml_gestures/models/special_model.pkl --test_size 0.2
+python3 ml_gestures/evaluate.py --csv data.csv --model ml_gestures/models/special_model.pkl --test_size 0.2
 ```
-5. Подключите модель в `config.py`
-```
-SPECIAL_GESTURE_MODE = 'ml'
-ML_GESTURE_MODEL = 'ml_gestures/models/special_model.pkl'
-ML_GESTURE_CLASSES = ['dome', 'cross', 'none']
-```
-6. Запустите основной скрипт:
-```
-python3 main.py
-```
-7. Запустится симулятор и изображение с камеры
+- `--csv` – путь к размеченному CSV (обязательно).
+- `--model` – путь к сохраненной модели (обязательно, расширение .pkl).
+- `--test_size` – доля тестовой выборки (по умолчанию 0.2).
+- `--random_state` – seed для воспроизводимости (по умолчанию 42).
 
-#### Запуск с ML-распознаванием динамических жестов
-1. Соберите датасетс нужными последовательностями жестов.
+Печатает результаты тестирования в консоль.
+
+#### 3.5. Использование обученной модели
 ```
-python -m utils.record_dynamic --label wave_right --output dynamic_data.csv --duration 2.0
+from ml_gestures.predict import MLGesturePredictor
+
+predictor = MLGesturePredictor('model.pkl', class_names=['dome','cross','none'])
+gesture = predictor.predict(landmarks)   # возвращает строку с классом
 ```
-Нажмите `space`, подождите 3 секунды, последовательность точек с меткой сохранится в файл `dynamic_data.csv`. Нажмите `q` чтобы закончить.
-2. Обучите модель
+
+### 4. ML-распознавание динамических жестов
+Распознавание жестов по последовательности кадров с помощью LSTM.
+#### 4.1. Сбор датасета
+Скрипт `utils/record_dynamic.py` записывает серию кадров (скелет) в течение заданной длительности.
 ```
-python -m ml_gestures_dynamic.train --data dynamic_data.csv --model dynamic_model.h5 --max_len 14 --epochs 50 --test_size 0.2
+python3 utils/record_dynamic --label wave_right --output dynamic_data.csv --duration 2.0
 ```
-Укажите путь до вашего файла, укажите путь, куда сохранить модель, а также укажите длину последовательности кадров (зависит от вашей камеры и железа, будет выводится при сборе данных)
-3. Оценка модели
+Параметры запуска:
+- `--label` – название жеста (обязательно).
+- `--output` – CSV-файл для сохранения (по умолчанию `dynamic_data.csv`).
+- `--duration` – длительность записи в секундах (по умолчанию 3.0).
+- `--camera_type` – web или oak (по умолчанию web).
+- `--no-mirror` – отключить зеркалирование
+
+Управление: нажмите `space`, через 3 секунды начнется запись, последовательность точек с меткой сохранится в файл `dynamic_data.csv`. В CSV сохраняются колонки: `label`, `sequence_id`, `frame_idx`, `f0…f98`. Нажмите `q` чтобы закончить.
+
+**Важно**: при записи в консоль выводится число кадров последовательности – используйте его как ориентир для `--max_len` в обучении (можно округлить вверх).
+#### 4.2. Обучение LSTM
+```
+python3 ml_gestures_dynamic/train --data dynamic_data.csv --model dynamic_model.h5 --max_len 14 --epochs 50 --test_size 0.2
+```
+Параметры запуска:
+- `--data` – путь к CSV-файлу или папке с несколькими CSV (все будут объединены).
+- `--model` – путь для сохранения модели (.h5).
+- `--max_len` – длина последовательности (количество кадров). Должен совпадать с длиной, использованной при записи. Если последовательности короче, они дополняются нулями; если длиннее – обрезаются.
+- `--lstm_units` – число нейронов в LSTM (по умолчанию 64).
+- `--epochs` – количество эпох (по умолчанию 50).
+- `--batch_size` – размер батча (по умолчанию 16).
+- `--test_size` – доля тестовой выборки (по умолчанию 0.2).
+
+После обучения сохраняются: модель (`.h5`), файл с классами (`_classes.pkl`) и отчёт (`_report.json`) с метриками.
+
+#### 4.3. Оценка модели
 После обучения модель сохраняется, и создаётся отчёт `dynamic_model_report.json` с метриками (`accuracy`, `precision`, `recall`, `f1`, `confusion matrix`). Для повторной оценки используйте:
 ```
-python -m ml_gestures_dynamic.evaluate --data dynamic_data.csv --model dynamic_model.h5 --max_len 14 --test_size 0.2
+python3 ml_gestures_dynamic/evaluate --data dynamic_data.csv --model dynamic_model.h5 --max_len 14 --test_size 0.2
 ```
-5. Подключить модель в `config.py`
+Параметры запуска:
+- `--data` – путь к CSV-файлу или папке с несколькими CSV (все будут объединены).
+- `--model` – путь для сохранения модели (.h5).
+- `--max_len` – длина последовательности (количество кадров). Должен совпадать с длиной, использованной при записи. Если последовательности короче, они дополняются нулями; если длиннее – обрезаются.
+- `--test_size` – доля тестовой выборки (по умолчанию 0.2).
+
+#### 4.4. Использование в коде
+Класс `DynamicGesturePredictor` накапливает кадры в буфере и выдаёт предсказание, когда накоплено достаточно данных.
 ```
-DYNAMIC_GESTURE = {
-        'enabled': True,                     # включить/выключить
-        'model_path': 'ml_gestures/models/dynamic_model.h5',
-        'classes_path': 'ml_gestures//odels/dynamic_model_classes.pkl',
-        'window_size': 14,                   # длина буфера
-        'threshold': 0.7,                   # порог уверенности
-        'actions': {
-            'wave_left': 'reset',            # при жесте wave_left – перезапуск симулятора
-            'wave_right': 'restart',         # при wave_right – рестарт
-        }
+from ml_gestures_dynamic.predict import DynamicGesturePredictor
+
+predictor = DynamicGesturePredictor(
+    model_path='dynamic_model.h5',
+    classes_path='dynamic_model_classes.pkl',
+    window_size=14,          # должно совпадать с max_len при обучении
+    threshold=0.5            # минимальная уверенность для выдачи класса
+)
+
+# В цикле обработки кадров:
+predictor.add_frame(landmarks)   # landmarks (33,4) или None
+gesture = predictor.predict()    # возвращает класс или None, если недостаточно данных/уверенность ниже порога
 ```
 
-### Управление в симуляторе
-Симулятор – поле с препятствиями, стартом и финишем. Робот движется согласно командам. При столкновении – игра заканчивается (перезапуск по `r`). Закрытие окна игры или нажатие `q` в окне камеры – выход.
-1. Управление скоростями
-    - Линейная скорость (вперёд) – горизонтальное положение правой руки (рука вдоль тела – 0, вытянута в сторону – максимум).
-    - Угловая скорость – вертикальное положение левой руки (рука на уровне плеча – 0, вверх – поворот вправо, вниз – поворот влево). 
-    
-![Схема управления скоростями](images/arm_control.png)
-
-2. Специальные жесты. Режим распознавания может быть геометрическим (по правилам) или обучаемым (ML-модель).
-    - Домик – обе руки над головой (включает управление).
-    - Крест – предплечья скрещены на груди (выключает управление).
-    
-![Схема управления жестами](images/gesture_control.png)
-
 ## Возможные проблемы
-1. Камера не работает - проверьте `CAMERA_ID` в `config.py` (обычно 0 или 1).
-2. Скелет не определяется – убедитесь, что человек стоит на расстоянии 1–2 метра, плечи в кадре. Можете также повысить сложность модели определения скелета (`skeleton/mediapipe_detector.py`), но скажется на производительности.
-3. Ложные срабатывания жестов – в геометрическом режиме увеличьте `min_conf` в `special_gestures.py` или переключитесь на ML-режим с большим количеством примеров
-4. Робот не движется – проверьте, включено ли управление (жест "домик") и видимость рук.
+1. Камера не работает - проверьте права доступа, индекс камеры (--camera). Для OAK убедитесь, что устройство подключено и depthai установлен.
+2. Скелет не определяется – стойте на расстоянии 1–2 м, плечи в кадре. Снизьте min_detection_confidence или увеличьте model_complexity в MediaPipeDetector.
+3. Ложные срабатывания жестов – в геометрическом режиме увеличьте `min_conf` в `special_gestures.py` или переключитесь на ML-режим с большим количеством примеров.
+4. Не хватает памяти для LSTM – уменьшите --max_len или --batch_size, используйте меньше --lstm_units.
+5. Ошибка импорта при запуске скриптов – все исполняемые скрипты автоматически добавляют корень проекта в sys.path, поэтому запускайте из корня проекта.
 
-## Датасеты
+## Датасеты (на точках MediaPipe)
 | Название | Описание | Ссылка | Количество примеров | Классы |
 |----------|----------|--------|---------------------|--------|
 | **special_gestures_v1** | Набор фотографий для распознавания специальных жестов (домик, крест, none). Собран с помощью `capture_photo.py` и стоковых изображений, размечен через `annotate.py`. | [Скачать](https://disk.yandex.ru/d/F25kMjrmZ8xwRA) | 77 (после балансировки, 13 на класс dome/cross, 51 none) | `dome`, `cross`, `none` |
 | **dynamic_data_v1** | csv файл с последовательностью точек скелета для 14 кадров | [Скачать](https://disk.yandex.ru/d/hnm6apfuxJsEyw) | 81 (по 20 на махи правой и левой рукой, 61 на none) | `none`, `wave_left`, `wave_right` |
 
-## Модели
+## Модели (на точках MediaPipe)
 | Название | Тип | Архитектура / параметры | Вход | Выход | Точность (test) | Precision / Recall (по классам) | Ссылка | Распознаваемые жесты |
 |----------|-----|-------------------------|------|-------|-----------------|--------------------------------|--------|----------------------|
 | **special_gestures_mlp** | MLP (scikit-learn) | Скрытые слои: (64, 32), активация ReLU, Adam, early stopping, 500 эпох | 99 нормализованных координат скелета (33 точки × 3) | 3 класса (dome, cross, none) | **0.56** | **dome**: P=0.00, R=0.00<br>**cross**: P=0.00, R=0.00<br>**none**: P=0.60, R=0.90 | [Скачать](https://disk.yandex.ru/d/I1WyAfN3PJM9fw) | `dome` (руки над головой домиком)<br>`cross` (предплечья скрещены на груди)<br>`none` (остальные) |

gesture_control/arm_control.py

@@ -0,0 +1,210 @@
+import numpy as np
+
+class ArmController:
+    def __init__(self, config, mirror=False):
+        self.config = config
+        self.mirror = mirror
+        self.shoulder_idx = {'left': 11, 'right': 12}
+        self.wrist_idx = {'left': 15, 'right': 16}
+        self.hip_idx = {'left': 23, 'right': 24}
+        self.dead_zone = config.get('dead_zone', 0.2)
+        self.debug = config.get('debug', False)
+        
+    def _get_side_indices(self, side):
+        """
+        Возвращает (shoulder_idx, wrist_idx) для заданной стороны (left/right).
+        При mirror=True интерпретируем сторону как в реальности: левая/правая рука.
+        """
+        if self.mirror:
+            if side == 'left':
+                s_idx = 12
+                w_idx = 16
+            else:
+                s_idx = 11
+                w_idx = 15
+        else:
+            if side == 'left':
+                s_idx = 11
+                w_idx = 15
+            else:
+                s_idx = 12
+                w_idx = 16
+        return s_idx, w_idx
+
+    def _get_shoulder_width(self, landmarks):
+        """Ширина плеч для нормировки горизонтальных смещений."""
+        left = landmarks[11][:2]
+        right = landmarks[12][:2]
+        width = np.linalg.norm(right - left)
+        if width < 50 or width > 300:
+            return None
+        return width
+
+    def _get_torso_height(self, landmarks):
+        """Высота торса для нормировки вертикальных смещений."""
+        left_shoulder = landmarks[11][:2]
+        right_shoulder = landmarks[12][:2]
+        left_hip = landmarks[23][:2]
+        right_hip = landmarks[24][:2]
+        shoulder_center = (left_shoulder + right_shoulder) / 2
+        hip_center = (left_hip + right_hip) / 2
+        height = np.linalg.norm(shoulder_center - hip_center)
+        if height < 50:
+            return None
+        return height
+
+    def _horizontal_displacement_rel(self, landmarks, side):
+        """
+        Нормированное горизонтальное смещение запястья относительно плеча.
+        Сторона `side` — это реальная сторона руки
+        """
+        s_idx, w_idx = self._get_side_indices(side)
+
+        if landmarks[s_idx][3] < 0.5 or landmarks[w_idx][3] < 0.5:
+            return 0.0
+
+        shoulder = landmarks[s_idx][:2]
+        wrist = landmarks[w_idx][:2]
+
+        shoulder_width = self._get_shoulder_width(landmarks)
+        if shoulder_width is None:
+            return 0.0
+
+        disp = wrist[0] - shoulder[0]
+        return disp / shoulder_width
+
+    def _vertical_displacement_rel(self, landmarks, side):
+        """
+        Вертикальное смещение: верх/низ запястья относительно плеча.
+        Сторона `side` — реальная сторона руки.
+        """
+        s_idx, w_idx = self._get_side_indices(side)
+
+        if landmarks[s_idx][3] < 0.5 or landmarks[w_idx][3] < 0.5:
+            return 0.0
+
+        shoulder = landmarks[s_idx][:2]
+        wrist = landmarks[w_idx][:2]
+
+        torso_height = self._get_torso_height(landmarks)
+        if torso_height is None:
+            return 0.0
+
+        disp = shoulder[1] - wrist[1]
+        return disp / torso_height
+    '''
+    def compute_speeds(self, landmarks):
+        if (landmarks[11][3] < 0.5 or landmarks[12][3] < 0.5 or
+            landmarks[15][3] < 0.5 or landmarks[16][3] < 0.5):
+            if self.debug:
+                print("Руки не видны")
+            return 0.0, 0.0
+
+        linear_side = self.config['linear_arm']
+        angular_side = self.config['angular_arm']
+
+        lin_rel = self._horizontal_displacement_rel(landmarks, linear_side)
+        ang_rel = self._vertical_displacement_rel(landmarks, angular_side)
+
+        if self.debug:
+            print(f"lin_rel={lin_rel:.3f}, ang_rel={ang_rel:.3f}")
+
+        # Линейная скорость (только вперёд)
+        if lin_rel < self.dead_zone:
+            linear = 0.0
+        else:
+            linear = min(lin_rel, 1.0) * self.config['max_speed_linear']
+
+        # Угловая скорость
+        if abs(ang_rel) < self.dead_zone:norm_lin * self.config['max_speed_linear']
+            angular = 0.0
+        else:
+            ang_rel_clipped = np.clip(ang_rel, -1.0, 1.0)
+            angular = ang_rel_clipped * self.config['max_speed_angular']
+
+        return linear, angular
+    '''
+
+    def _get_angle(self, landmark1, landmark2):
+        x1 = landmark1[0]
+        y1 = landmark1[1]
+        x2 = landmark2[0]
+        y2 = landmark2[1]
+        angle = np.arctan2(y2 - y1, x2 - x1)
+        return angle
+
+    def compute_speeds(self, landmarks):
+        if (landmarks[11][3] < 0.5 or landmarks[12][3] < 0.5 or
+            landmarks[15][3] < 0.5 or landmarks[16][3] < 0.5):
+            if self.debug:
+                print("Руки не видны")
+            return 0.0, 0.0
+
+        #right_shoulder_y = landmarks[12][1]
+        #right_hand_y = landmarks[16][1]
+        #right_distance = right_shoulder_y - right_hand_y
+
+        angle_elbow_wirst_left = self._get_angle(landmarks[14], landmarks[16])
+        angle_elbow_wirst_right = self._get_angle(landmarks[13], landmarks[15])
+        linear, angular = 0, 0
+
+        if np.deg2rad(-5) < angle_elbow_wirst_right < np.deg2rad(5):
+            linear = 0
+
+        elif np.deg2rad(-5) > angle_elbow_wirst_right:
+            linear = min(1, angle_elbow_wirst_right / -np.deg2rad(90))
+
+        elif np.deg2rad(5) < angle_elbow_wirst_right:
+            linear = min(1, angle_elbow_wirst_right / -np.deg2rad(90))
+
+        #print(f"Test: {linear} {angle_elbow_wirst_left}")
+
+        error = 15
+
+        #print(f"Test: {angle_elbow_wirst_right} {np.rad2deg(angle_elbow_wirst_right)}")
+
+        #if np.deg2rad(180 - error) < angle_elbow_wirst_left < np.deg2rad(180 + error):
+
+        max_angle = np.deg2rad(180 - error)
+        min_angle = np.deg2rad(-180 + error)
+
+        if angle_elbow_wirst_left < 0:
+
+            if angle_elbow_wirst_left < min_angle:# or angle_elbow_wirst_left > max_angle:
+                angular = 0
+            elif angle_elbow_wirst_left > min_angle:
+                #angular = min(1, angle_elbow_wirst_left / min_angle)
+                angular = -(min_angle - angle_elbow_wirst_left) / (min_angle - np.deg2rad(-90))
+
+        else:
+            if angle_elbow_wirst_left > max_angle:
+                angular = 0
+            elif angle_elbow_wirst_left < max_angle:
+                #angular = -min(1, angle_elbow_wirst_left / max_angle)
+                angular = (max_angle - angle_elbow_wirst_left) / (max_angle - np.deg2rad(90))
+
+        error = 35
+        if -np.deg2rad(error) < angle_elbow_wirst_left < np.deg2rad(error):
+            linear = 0
+            angular = 0
+
+        #angular = angular / 2
+
+
+        #left_shoulder_y = landmarks[11][1]
+        #left_hand_y = landmarks[15][1]
+        #left_distance = left_shoulder_y - left_hand_y
+
+        #torso_height = self._get_torso_height(landmarks)
+        #max_distance = torso_height * 0.5
+        #norm_lin = np.clip((right_distance/max_distance), a_min = 0, a_max = 1)
+
+        #torso_height = self._get_torso_height(landmarks)
+        #max_distance = torso_height * 0.5
+        #norm_ang = np.clip((left_distance/max_distance), a_min = -1, a_max = 1)
+
+        #linear = norm_lin * self.config['max_speed_linear']
+        #angular = norm_ang * self.config['max_speed_linear']
+
+        return linear, -angular
+        #return angular, linear

gesture_control/special_gestures.py

@@ -1,10 +1,10 @@
 import numpy as np
-from ml_gestures.predict import MLGesturePredictor
 
 class SpecialGestureDetector:
     def __init__(self, mode='geometric', model_path=None, class_names=None):
         self.mode = mode
         if mode == 'ml':
+            from ml_gestures.predict import MLGesturePredictor
             if model_path is None or class_names is None:
                 raise ValueError("Для ML нужны model_path и class_names")
             self.ml_predictor = MLGesturePredictor(model_path, class_names)
@@ -35,9 +35,9 @@ class SpecialGestureDetector:
         }
 
         # Повышенный порог уверенности для специальных жестов
-        min_conf = 0.6
+        min_conf = 0.5
         required = ['left_shoulder', 'right_shoulder', 'left_elbow', 'right_elbow',
-                    'left_wrist', 'right_wrist', 'left_hip', 'right_hip']
+                    'left_wrist', 'right_wrist', 'nose']
         for p in required:
             if landmarks[idx[p]][3] < min_conf:
                 if self.debug:
@@ -53,50 +53,92 @@ class SpecialGestureDetector:
         r_wr = landmarks[idx['right_wrist']][:2]
         l_hip = landmarks[idx['left_hip']][:2]
         r_hip = landmarks[idx['right_hip']][:2]
+        nose = np.array(landmarks[idx['nose']][:2])
 
-        hip_center = (l_hip + r_hip) / 2
+        shoulder_center_y = (l_sh[1] + r_sh[1]) / 2
+        hip_center_y = (l_hip[1] + r_hip[1]) / 2
+        torso_height = hip_center_y - shoulder_center_y
         shoulder_width = np.linalg.norm(r_sh - l_sh)
-        if shoulder_width < 50 or shoulder_width > 300:
-            if self.debug:
-                print("shoulder_width out of range")
+        if shoulder_width < 30 or torso_height < 10:
             return 'none'
 
-        # ----- КРЕСТ (предплечья скрещены на груди) -----
-        # 1. Запястья перекрещены (левое правее правого) И на уровне груди (ниже плеч, выше бедер)
-        wrists_crossed = l_wr[0] > r_wr[0]
-        wrists_chest_level = (max(l_wr[1], r_wr[1]) > max(l_sh[1], r_sh[1]) and 
-                            min(l_wr[1], r_wr[1]) < hip_center[1])
+        # ---- Вспомогательные функции ----
+        def angle_between_vectors(v1, v2):
+            """Угол между двумя векторами в градусах (0..180)"""
+            cos_a = np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2) + 1e-6)
+            return np.arccos(np.clip(cos_a, -1.0, 1.0)) * 180 / np.pi
 
-        # 2. Локти тоже на уровне груди (примерно)
-        elbows_chest_level = (max(l_el[1], r_el[1]) > max(l_sh[1], r_sh[1]) * 0.9 and 
-                            min(l_el[1], r_el[1]) < hip_center[1] * 1.1)
+        def elbow_angle(shoulder, elbow, wrist):
+            """Угол в локте (плечо-локоть-запястье)"""
+            v1 = shoulder - elbow
+            v2 = wrist - elbow
+            return angle_between_vectors(v1, v2)
 
-        # 3. Руки согнуты (предплечья короче верхней части руки)
-        left_bent = np.linalg.norm(l_wr - l_el) < np.linalg.norm(l_el - l_sh) * 0.9
-        right_bent = np.linalg.norm(r_wr - r_el) < np.linalg.norm(r_el - r_sh) * 0.9
-        arms_bent = left_bent and right_bent
+        def segments_intersect(p1, p2, p3, p4):
+            def cross(o, a, b):
+                return (a[0] - o[0]) * (b[1] - o[1]) - (a[1] - o [1])* (b[0] - o[0])
+            d1 = cross(p3, p4, p1)
+            d2 = cross(p3, p4, p2)
+            d3 = cross(p1, p2, p3)
+            d4 = cross(p1, p2, p4)
+            return (d1 * d2 < 0) and (d3 * d4 < 0)
 
-        # 4. Запястья близко к центру тела (не сильно отведены, типично для креста на груди)
-        body_center_x = (l_sh[0] + r_sh[0]) / 2
-        wrists_near_center = (abs(l_wr[0] - body_center_x) < shoulder_width * 0.6 and
-                            abs(r_wr[0] - body_center_x) < shoulder_width * 0.6)
+        def line_intersection(p1, p2, p3, p4):
+            d1 = p2 - p1
+            d2 = p4 -p3
+            denom = d1[0] * d2[1] - d1[1] * d2[0]
+            if abs(denom) < 1e-6:
+                return None
+            t = ((p3[0] - p1[0]) * d2[1] - (p3[1] - p1[1]) * d2[0]) / denom
+            return p1 + t * d1
 
-        cross = (wrists_crossed and wrists_chest_level and elbows_chest_level and 
-                arms_bent and wrists_near_center)
+        # ---- Вычисляем углы ----
+        l_angle = elbow_angle(l_sh, l_el, l_wr)   # угол в левом локте
+        r_angle = elbow_angle(r_sh, r_el, r_wr)   # угол в правом локте
 
-        if self.debug and cross:
-            print(f"CROSS: crossed={wrists_crossed}, chest_w={wrists_chest_level}, "
-                f"chest_e={elbows_chest_level}, bent={arms_bent}, near_center={wrists_near_center}")
+        # ---- КРЕСТ ----
+        '''
+        # 1. Оба локтя сильно согнуты (< 100°)
+        elbows_bent = (l_angle < 100 and r_angle < 100)
+        # 2. Левое запястье правее правого (перекрест)
+        wrists_crossed = l_wr[0] > r_wr[0] + 5  # небольшой запас в пикселях (можно и 0)
+        # 3. Запястья находятся между плечами и бёдрами по Y (уровень груди)
+        wrists_at_chest = (
+            shoulder_center_y - 0.3 * torso_height < l_wr[1] < hip_center_y + 0.3 * torso_height and
+            shoulder_center_y - 0.3 * torso_height < r_wr[1] < hip_center_y + 0.3 * torso_height
+        )
+
+        cross = elbows_bent and wrists_crossed and wrists_at_chest
+        if cross:
+            return 'cross'
+        '''
+        forearms_cross = segments_intersect(l_el, l_wr, r_el, r_wr)
+        intersection = line_intersection(l_el, l_wr, r_el, r_wr)
+        intersection_on_chest = False
+        if intersection is not None:
+            intersection_on_chest = (shoulder_center_y - 0.2 * torso_height < intersection[1] < hip_center_y + 0.2 * torso_height)
+        cross = forearms_cross and intersection_on_chest
         if cross:
             return 'cross'
 
-        # ----- ДОМИК (руки над головой) -----
-        head_y = landmarks[idx['nose']][1] - 50
-        arms_up = (l_wr[1] < head_y and r_wr[1] < head_y)
-        if arms_up:
-            dist = np.linalg.norm(l_wr - r_wr)
-            rel_dist = dist / shoulder_width
-            if rel_dist < 1.5:
+        # ---- ДОМИК ----
+        # 1. Запястья выше носа
+        wrists_above_nose = (l_wr[1] < nose[1] and r_wr[1] < nose[1])
+
+        # 2. Локти выше плеч (верхняя граница плеч – min по Y среди плеч)
+        shoulders_top_y = min(l_sh[1], r_sh[1])
+        elbows_above_shoulders = (l_el[1] < shoulders_top_y and r_el[1] < shoulders_top_y)
+
+        # 3. Расстояние между локтями > расстояние между плечами
+        elbow_distance = np.linalg.norm(l_el - r_el)
+        elbows_far_apart = elbow_distance > shoulder_width
+
+        # 4. Расстояние между запястьями < половины ширины плеч
+        wrist_distance = np.linalg.norm(l_wr - r_wr)
+        wrists_near = wrist_distance < 0.5 * shoulder_width
+
+        dome = wrists_above_nose and elbows_above_shoulders and elbows_far_apart and wrists_near
+        if dome:
             return 'dome'
 
         return 'none'

install_deps.sh

@@ -0,0 +1,49 @@
+#!/bin/bash
+
+set -e
+
+pip install --upgrade pip
+
+pip install numpy==1.24.3
+pip install pandas==2.0.3
+pip install pyyaml==6.0.3
+pip install opencv-python==4.12.0.88
+pip install opencv-python-headless==4.12.0.88
+pip install matplotlib==3.7.5
+pip install protobuf==3.20.3
+
+# PyTorch CPU - нужен только для tensorflow, достаточно под CPU в целом, но можно поставить GPU, но тогда возиться с CUDA
+pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu
+
+# MediaPipe
+pip install --no-deps mediapipe==0.10.11
+pip install attrs
+
+pip install scikit-learn==1.3.2
+pip install joblib==1.4.2
+pip install depthai==2.28.0
+
+# TensorFlow
+pip install --no-deps tensorflow==2.13.1
+
+pip install \
+    absl-py \
+    astunparse \
+    flatbuffers \
+    gast \
+    google-pasta \
+    grpcio \
+    h5py \
+    keras==2.13.1 \
+    libclang \
+    opt-einsum \
+    tensorboard==2.13.0 \
+    tensorflow-estimator==2.13.0 \
+    termcolor \
+    wrapt \
+    requests
+    
+pip install numpy==1.24.3
+pip install scipy==1.11.0
+
+echo "все установлено"

skeleton/oak_pose_detector.py

@@ -0,0 +1,200 @@
+# ====== 33 точки mediapipe ======
+'''
+    0 - нос
+    1 - внутренний угол левого глаза
+    2 - центр левого глаза
+    3 - внешний угол левого глаза
+    4 - внутренний угол правого глаза
+    5 - центр правого глаза
+    6 - внешний угол правого глаза
+    7 - левое ухо
+    8 - правое ухо
+    9 - левый угол рта
+    10 - правый угол рта
+    11 - левое плечо
+    12- правое плечо
+    13 - левый локоть
+    14 - правый локоть 
+    15 - левое запястье
+    16 - правое запястье
+    17 - левый мизинец
+    18 - правый мизинец
+    19 - левый указательный палец
+    20 - правй указательный палец
+    21- левый большой палец
+    22 -правый большой палец
+    23 - левое бедро 
+    24 - правое бедро
+    25 - левое колено 
+    26 - правое колено
+    27 - левая голень/лодыжка
+    28 - правая голень/лодыжка
+    29 - левая пятка
+    30 - правая пятка
+    31 - левый носок
+    32 - правый носок
+'''
+# ====== 17 точек efficienthrnet ======
+'''
+    0 - нос
+    1 - левый глаз
+    2 - правый глаз
+    3 - левое ухо
+    4 - правое ухо
+    5 - левое плечо
+    6 - правое плечо
+    7 - левый локоть
+    8 - правый локоть
+    9 - левое запястье
+    10 - правое запястье
+    11 - левое бедро
+    12 - правое бедро
+    13 - левое колено
+    14 - правое колено
+    15 - левая лодыжка
+    16 - правая лодыжка
+'''
+import sys
+from pathlib import Path
+REPO_PATH = Path(__file__).parent.parent / "submodules" / "OAK-HumanPoseEstimation"
+sys.path.append(str(REPO_PATH))
+
+import cv2
+import depthai as dai
+import numpy as np
+
+import daipipeline
+from daipipeline import create_pipeline, get_model_list
+from poseestimators import get_poseestimator
+
+class OakPoseDetector:
+    EH_TO_MP = {
+        0: 0,   # nose
+        1: 2,   # left eye
+        2: 5,   # right eye
+        3: 7,   # left ear
+        4: 8,   # right ear
+        5: 11,  # left shoulder
+        6: 12,  # right shoulder
+        7: 13,  # left elbow
+        8: 14,  # right elbow
+        9: 15,  # left wrist
+        10: 16, # right wrist
+        11: 23, # left hip
+        12: 24, # right hip
+        13: 25, # left knee
+        14: 26, # right knee
+        15: 27, # left ankle
+        16: 28, # right ankle
+    }
+    
+    MP_CONNECTIONS = [(EH_TO_MP[0], EH_TO_MP[1]), 
+                      (EH_TO_MP[1], EH_TO_MP[3]), 
+                      (EH_TO_MP[0], EH_TO_MP[2]), 
+                      (EH_TO_MP[2], EH_TO_MP[4]),  
+                      (EH_TO_MP[5], EH_TO_MP[6]), 
+                      (EH_TO_MP[5], EH_TO_MP[7]), 
+                      (EH_TO_MP[7], EH_TO_MP[9]), 
+                      (EH_TO_MP[6], EH_TO_MP[8]), 
+                      (EH_TO_MP[8], EH_TO_MP[10]), 
+                      (EH_TO_MP[5], EH_TO_MP[11]), 
+                      (EH_TO_MP[6], EH_TO_MP[12]), 
+                      (EH_TO_MP[11], EH_TO_MP[12]), 
+                      (EH_TO_MP[11], EH_TO_MP[13]), 
+                      (EH_TO_MP[13], EH_TO_MP[15]), 
+                      (EH_TO_MP[12], EH_TO_MP[14]), 
+                      (EH_TO_MP[14], EH_TO_MP[16])]
+    
+    def __init__(self, model_type='efficienthrnet1', shaves=6, detection_threshold=0.2, **kwargs):
+        daipipeline.MODELS_FOLDER = str(REPO_PATH / "models")
+        
+        self.model_type = model_type
+        self.model_list = get_model_list()
+        if model_type not in self.model_list:
+            raise ValueError(f"Unknown model: {model_type}")
+        self.model_config = self.model_list[model_type]
+        
+        self.kwargs = kwargs
+        self.kwargs['shaves'] = shaves
+        self.kwargs['detection_threshold'] = int(detection_threshold * 100)
+        if 'decoder' not in self.kwargs:
+            self.kwargs['decoder'] = None
+            
+        self.pose_estimator = get_poseestimator(self.model_config, **self.kwargs)
+        
+        self.pipeline = create_pipeline(self.model_config, 
+                                        camera=True, 
+                                        passthrough=False, 
+                                        **self.kwargs)
+        
+        self.device = dai.Device(self.pipeline)
+        self.preview_queue = self.device.getOutputQueue("preview", maxSize=1, blocking=False)
+        self.pose_queue = self.device.getOutputQueue("pose", maxSize=1, blocking=False)
+        
+    def get_frame_and_pose(self):
+        preview = self.preview_queue.tryGet()
+        if preview is None:
+            return None, None
+        frame = preview.getCvFrame()
+        
+        raw_output = self.pose_queue.tryGet()
+        if raw_output is None:
+            return frame, None
+        
+        # получаем результат в формате модели
+        personwise_keypoints = self.pose_estimator.get_pose_data(raw_output)
+        if personwise_keypoints.shape[0] == 0:
+            return frame, None
+        
+        kps = personwise_keypoints[0] # (17, 3) – (x, y, confidence)
+        
+        mp_landmarks = np.zeros((33, 4), dtype=np.float32)
+        for eh_idx, mp_idx in self.EH_TO_MP.items():
+            x, y, conf = kps[eh_idx]
+            if conf > 1.0:
+                conf = conf / 100.0
+            mp_landmarks[mp_idx] = [x, y, 0.0, conf]
+
+        return frame, mp_landmarks
+
+    def draw_landmarks(self, image, landmarks, conf_threshold=0.1):
+        if landmarks is None:
+            return image.copy()
+        vis = image.copy()
+
+        for (i, j) in self.MP_CONNECTIONS:
+            if i < len(landmarks) and j < len(landmarks):
+                if landmarks[i][3] > conf_threshold and landmarks[j][3] > conf_threshold:
+                    pt1 = (int(landmarks[i][0]), int(landmarks[i][1]))
+                    pt2 = (int(landmarks[j][0]), int(landmarks[j][1]))
+                    cv2.line(vis, pt1, pt2, (0, 255, 0), 2)
+                    
+        for i, (x, y, z, conf) in enumerate(landmarks):
+            if conf > conf_threshold:
+                cv2.circle(vis, (int(x), int(y)), 3, (255, 0, 0), -1)
+        return vis
+
+
+    def release(self):
+        if hasattr(self, 'device'):
+            self.device.close()
+               
+def main():
+    detector = OakPoseDetector(model_type='efficienthrnet1', detection_threshold=0.2)
+    print("Запуск. Нажмите 'q' для выхода.")
+    while True:
+        frame, landmarks = detector.get_frame_and_pose()
+        if frame is None:
+            continue
+
+        vis = detector.draw_landmarks(frame, landmarks) if landmarks is not None else frame
+
+        cv2.imshow("Pose Estimation", vis)
+        if cv2.waitKey(1) == ord('q'):
+            break
+
+    detector.release()
+    cv2.destroyAllWindows()
+    
+if __name__ == "__main__":
+    main()