finished oak and web cams and run files

README.md

@@ -4,14 +4,10 @@
 ## Структура проекта
 ```
 gesture_robot/
-├── main.py                 # Основной цикл
-├── config.py               # Конфигурация
 ├── skeleton/               # Детекция скелета (MediaPipe)
 │   └── mediapipe_detector.py
 ├── gesture_control/        # Управление жестами
-│   ├── arm_control.py      # Скорости по рукам
+│   └── special_gestures.py # Специальные жесты по геометрии
-│   ├── special_gestures.py # Специальные жесты по геометрии
-│   └── state.py            # Вкл/выкл режима (определение какой жест какую команду триггерит)
 ├── ml_gestures/            # ML для специальных жестов
 │   ├── feature_extractor.py
 │   ├── predict.py
@@ -22,14 +18,10 @@ gesture_robot/
 │   ├── predict.py
 │   ├── evaluate.py
 │   └── train.py
-├── robot/                  # Робот (симулятор или заглушка)
+└── utils/                  # Вспомогательные скрипты
-│   ├── map_simulator.py
+    ├── annotate.py         # Разметка изображений
-│   └── dummy.py
+    ├── capture_photo.py    # Съёмка фото с камеры
-├── utils/                  # Вспомогательные скрипты
+    └── record_dynamic.py   # Разметка видеопоследовательности
-│   ├── annotate.py         # Разметка изображений
-│   ├── capture_photo.py    # Съёмка фото с камеры
-│   └── record_dynamic.py   # Разметка видеопоследовательности
-└── requirements.txt
 ```
 
 ## Подготовка и запуск

camera/base_camera.py

@@ -0,0 +1,12 @@
+import abc
+import numpy as np
+
+class Camera(abc.ABC):
+    @abc.abstractmethod
+    def get_frame(self):
+        """BGR (numpy array) или None"""
+        pass
+
+    @abc.abstractmethod
+    def release(self):
+        pass

camera/factory.py

@@ -0,0 +1,11 @@
+from .web_camera import WebCamera
+from .oak_camera import OakCamera
+
+def create_camera(camera_type='web', **kwargs):
+    if camera_type == 'web':
+        return WebCamera(**kwargs)
+    elif camera_type == 'oak':
+        kwargs.pop('camera_id', None)
+        return OakCamera(**kwargs)
+    else:
+        raise ValueError(f"Unknown camera type: {camera_type}")

camera/oak_camera.py

@@ -0,0 +1,33 @@
+import depthai as dai
+import numpy as np
+import cv2
+from camera.base_camera import Camera
+
+class OakCamera(Camera):
+    def __init__(self, resolution=(640, 480), fps=30, mirror=False):
+        self.pipeline = dai.Pipeline()
+        cam = self.pipeline.create(dai.node.ColorCamera)
+        cam.setPreviewSize(resolution[0], resolution[1])
+        cam.setInterleaved(False)
+        cam.setFps(fps)
+        cam.setColorOrder(dai.ColorCameraProperties.ColorOrder.BGR)
+
+        xout = self.pipeline.create(dai.node.XLinkOut)
+        xout.setStreamName("preview")
+        cam.preview.link(xout.input)
+
+        self.device = dai.Device(self.pipeline)
+        self.q = self.device.getOutputQueue(name="preview", maxSize=4, blocking=False)
+        self.mirror = mirror
+
+    def get_frame(self):
+        in_frame = self.q.tryGet()
+        if in_frame is None:
+            return None
+        frame = in_frame.getCvFrame()
+        if self.mirror:
+            frame = cv2.flip(frame, 1)
+        return frame
+
+    def release(self):
+        self.device.close()

camera/web_camera.py

@@ -0,0 +1,20 @@
+import cv2
+from camera.base_camera import Camera
+
+class WebCamera(Camera):
+    def __init__(self, camera_id=0, mirror=False):
+        self.cap = cv2.VideoCapture(camera_id)
+        self.mirror = mirror
+        if not self.cap.isOpened():
+            raise RuntimeError("Cannot open web camera")
+
+    def get_frame(self):
+        ret, frame = self.cap.read()
+        if not ret:
+            return None
+        if self.mirror:
+            frame = cv2.flip(frame, 1)
+        return frame
+
+    def release(self):
+        self.cap.release()

gesture_control/feature_extractor.py

@@ -1,26 +0,0 @@
-import numpy as np
-
-def normalize_landmarks(landmarks):
-    """
-    Нормализует полный скелет MediaPipe (33 точки) с использованием x,y,z.
-    Центрирует относительно центра бёдер и масштабирует по росту.
-    Возвращает плоский вектор (99,) из x,y,z всех точек.
-    """
-    lm = landmarks[:, :3].copy() # (33,3)
-
-    # Центр бёдер (индексы 23 и 24)
-    hip_center = (lm[23] + lm[24]) / 2
-
-    # Центр плеч (11 и 12)
-    shoulder_center = (lm[11] + lm[12]) / 2
-
-    # Рост – расстояние от бёдер до плеч
-    height = np.linalg.norm(shoulder_center - hip_center)
-    if height < 1e-6:
-        height = 1.0
-
-    # Центрируем и масштабируем
-    lm_centered = lm - hip_center
-    lm_normalized = lm_centered / height
-
-    return lm_normalized.flatten() # (99,)

gesture_control/special_gestures.py

@@ -12,7 +12,7 @@ class SpecialGestureDetector:
         else:
             self.ml_predictor = None
             print("Использую геометрические отношения для детекции специальных жестов")
-        self.debug = True  # Включите для отладки
+        self.debug = False # Включите для отладки
 
     def predict(self, landmarks):
         if self.mode == 'geometric':
@@ -35,7 +35,7 @@ class SpecialGestureDetector:
         }
 
         # Повышенный порог уверенности для специальных жестов
-        min_conf = 0.7
+        min_conf = 0.6
         required = ['left_shoulder', 'right_shoulder', 'left_elbow', 'right_elbow',
                     'left_wrist', 'right_wrist', 'left_hip', 'right_hip']
         for p in required:

ml_gestures/evaluate.py

@@ -1,3 +1,14 @@
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
+
+import sys
+from pathlib import Path
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
 import pandas as pd
 import numpy as np
 import joblib

ml_gestures/train.py

@@ -1,3 +1,14 @@
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
+
+import sys
+from pathlib import Path
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
 import pandas as pd
 import numpy as np
 import joblib

ml_gestures_dynamic/evaluate.py

@@ -1,3 +1,14 @@
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
+
+import sys
+from pathlib import Path
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
 import numpy as np
 import joblib
 import json

ml_gestures_dynamic/train.py

@@ -1,3 +1,14 @@
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
+
+import sys
+from pathlib import Path
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
 import numpy as np
 import joblib
 import json

utils/annotate.py

@@ -1,11 +1,19 @@
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
+
+import sys
+from pathlib import Path
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
 import cv2
 import os
 import csv
-import sys
-from pathlib import Path
 import argparse
 
-#sys.path.append(str(Path(__file__).parent.parent))
 from skeleton.mediapipe_detector import MediaPipeDetector
 from ml_gestures.feature_extractor import normalize_landmarks
 

utils/capture_photo.py

@@ -1,23 +1,28 @@
-import cv2
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
-import os
+
 import sys
-import time
 from pathlib import Path
 
-def capture_photo(output_dir='captured', camera_id=0, mirror=True):
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
+import cv2
+import os
+import time
+from camera.factory import create_camera
+
+def capture_photo(camera, output_dir='captured'):
     """
-    Простой инструмент для захвата фото с камеры.
+    инструмент для захвата фото с камеры.
-    При нажатии 's' запускается отсчёт 3 секунды, затем делается снимок.
+    при нажатии 's' запускается отсчёт 3 секунды, затем делается снимок.
-    При нажатии 'q' выход.
+    при нажатии 'q' выход.
     """
     # Создаём папку, если её нет
     Path(output_dir).mkdir(parents=True, exist_ok=True)
-
+    
-    cap = cv2.VideoCapture(camera_id)
-    if not cap.isOpened():
-        print("Не удалось открыть камеру")
-        sys.exit(1)
-
     print("Нажмите 's' для захвата фото (отсчёт 3 секунды)")
     print("Нажмите 'q' для выхода")
 
@@ -26,12 +31,9 @@ def capture_photo(output_dir='captured', camera_id=0, mirror=True):
     countdown_start = 0
 
     while True:
-        ret, frame = cap.read()
+        frame = camera.get_frame()
-        if not ret:
+        if frame is None:
-            break
+            continue
-
-        if mirror:
-            frame = cv2.flip(frame, 1)
 
         display = frame.copy()
 
@@ -65,7 +67,7 @@ def capture_photo(output_dir='captured', camera_id=0, mirror=True):
             countdown = 1
             countdown_start = time.time()
 
-    cap.release()
+    camera.release()
     cv2.destroyAllWindows()
     print(f"Завершено. Сохранено {capture_count} фото.")
 
@@ -75,5 +77,8 @@ if __name__ == '__main__':
     parser.add_argument('--dir', default='captured', help='Папка для сохранения')
     parser.add_argument('--camera', type=int, default=0, help='ID камеры')
     parser.add_argument('--no-mirror', action='store_true', help='Отключить зеркалирование')
+    parser.add_argument('--camera_type', default='web', choices=['web', 'oak'])
     args = parser.parse_args()
-    capture_photo(output_dir=args.dir, camera_id=args.camera, mirror=not args.no_mirror)
+    
+    camera = create_camera(camera_type=args.camera_type, camera_id=args.camera, mirror=not args.no_mirror)
+    capture_photo(camera, output_dir=args.dir)

utils/record_dynamic.py

@@ -1,3 +1,14 @@
+# === Вот эта связка нужна для всех исполняемых скриптов внутри библиотеки, которая будет использоваться как сабмодуль ===
+
+import sys
+from pathlib import Path
+
+ROOT = Path(__file__).parent.parent
+if str(ROOT) not in sys.path:
+    sys.path.insert(0, str(ROOT))
+
+# === перед вмеми импортами ===
+
 import cv2
 import numpy as np
 import csv
@@ -10,16 +21,20 @@ import pandas as pd
 #sys.path.append(str(Path(__file__).parent.parent))
 from skeleton.mediapipe_detector import MediaPipeDetector
 from ml_gestures_dynamic.feature_extractor import extract_sequence
+from camera.factory import create_camera
 
 def main():
     parser = argparse.ArgumentParser()
     parser.add_argument('--label', required=True, help='Название жеста (например, wave_left)')
     parser.add_argument('--output', default='dynamic_data.csv', help='CSV файл для сохранения')
     parser.add_argument('--camera', type=int, default=0)
+    parser.add_argument('--camera_type', default='web', choices=['web', 'oak'])
     parser.add_argument('--duration', type=float, default=3.0, help='Длительность записи (сек)')
+    parser.add_argument('--no-mirror', action='store_true', help='Отключить зеркалирование')
     args = parser.parse_args()
     
     output_path = Path(args.output)
+    camera = create_camera(camera_type=args.camera_type, camera_id=args.camera, mirror=not args.no_mirror)
     
     # Создаём файл с заголовком, если его ещё нет
     if not output_path.exists():
@@ -29,10 +44,12 @@ def main():
             writer.writerow(header)
 
     detector = MediaPipeDetector()
+    '''
     cap = cv2.VideoCapture(args.camera)
     if not cap.isOpened():
         print("Камера не найдена")
         sys.exit(1)
+    '''
 
     # Определяем следующий ID последовательности
     try:
@@ -47,10 +64,10 @@ def main():
     sequence = []
 
     while True:
-        ret, frame = cap.read()
+        frame = camera.get_frame()
-        if not ret:
+        if frame is None:
-            break
+            continue
-        frame = cv2.flip(frame, 1)  # зеркало для удобства
+        #frame = cv2.flip(frame, 1)  # зеркало для удобства
         result = detector.detect(frame)
         if result['success']:
             landmarks = result['landmarks']
@@ -90,10 +107,10 @@ def main():
             # Обратный отсчёт на живом видео
             for i in range(3, 0, -1):
                 # Получаем свежий кадр для отсчёта
-                ret, frame = cap.read()
+                frame = camera.get_frame()
-                if not ret:
+                if frame is None:
-                    break
+                    continue
-                frame = cv2.flip(frame, 1)
+                #frame = cv2.flip(frame, 1)
                 result = detector.detect(frame)
                 if result['success']:
                     vis = detector.draw_landmarks(frame, result['pose_landmarks'])
@@ -104,9 +121,11 @@ def main():
                 cv2.imshow('Record dynamic gesture', vis)
                 cv2.waitKey(1000)
             # Показываем "GO!"
-            ret, frame = cap.read()
+            frame = camera.get_frame()
-            if ret:
+            if frame is None:
-                frame = cv2.flip(frame, 1)
+                continue
+            else:
+                #frame = cv2.flip(frame, 1)
                 result = detector.detect(frame)
                 if result['success']:
                     vis = detector.draw_landmarks(frame, result['pose_landmarks'])
@@ -121,7 +140,8 @@ def main():
             start_time = time.time()
             sequence = []
 
-    cap.release()
+    #cap.release()
+    camera.release()
     cv2.destroyAllWindows()
 
 if __name__ == '__main__':