upd readme

main
Eliza Moscovskaya 4 months ago
parent 5e1c1341aa
commit 2759524c43

@ -72,16 +72,19 @@ python3 main.py
python3 -m utils/capture_photo.py --dir data/raw
```
Нажмите `s`, подождите 3 секунды, фото сохранится в папку `data/raw`. Нажмите `q` чтобы закончить.
2. Разметьте фото с помощью аннотатора:
```
python3 -m utils/annotate.py --folder data/raw --classes dome,cross,none --output data.csv
```
Для каждого фото нажмите цифру, соответствующую жесту (1dome, 2cross, 3none), или n для пропуска. При выходе данные сохранятся в `data.csv`.
3. Обучите модель
```
python3 -m ml_gestures/train.py --csv data.csv --model ml_gestures/models/special_model.pkl --type mlp --balance --target_classes dome,cross
```
Параметр `balance` уменьшит целевые классы (в параметре `target_classes`) до размера наименьшего из них, чтобы избежать перекоса. Класс none остаётся неизменным.
4. Оценка модели
После обучения модель сохраняется, и создаётся отчёт `special_model_report.json` с метриками (`accuracy`, `precision`, `recall`, `f1`, `confusion matrix`). Для повторной оценки используйте:
```
@ -104,10 +107,15 @@ python3 main.py
1. Управление скоростями
- Линейная скорость (вперёд) горизонтальное положение правой руки (рука вдоль тела 0, вытянута в сторону максимум).
- Угловая скорость вертикальное положение левой руки (рука на уровне плеча 0, вверх поворот вправо, вниз поворот влево).
![Схема управления скоростями](images/arm_control.png)
2. Специальные жесты. Режим распознавания может быть геометрическим (по правилам) или обучаемым (ML-модель).
- Домик обе руки над головой (включает управление).
- Крест предплечья скрещены на груди (выключает управление).
![Схема управления жестами](images/gesture_control.png)
## Возможные проблемы
1. Камера не работает - проверьте `CAMERA_ID` в `config.py` (обычно 0 или 1).
2. Скелет не определяется убедитесь, что человек стоит на расстоянии 12 метра, плечи в кадре. Можете также повысить сложность модели определения скелета (`skeleton/mediapipe_detector.py`), но скажется на производительности.

Binary file not shown.

After

Width:  |  Height:  |  Size: 363 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 243 KiB

@ -0,0 +1,7 @@
opencv-python
mediapipe
numpy
pygame
scikit-learn
pandas
joblib
Loading…
Cancel
Save