dominika version

README.md

@@ -52,24 +52,28 @@ cd gesture_rec
 git submodule update --init --recursive
 ```
 ### 2. Создание виртуального окружения
-Рекомендуется использовать виртуальное окружение и Python 3.11:
+Рекомендуется использовать виртуальное окружение и Python 3.10:
 ```
-python3.11 -m venv venv
+python3.10 -m venv venv
 source venv/bin/activate
 ```
 
 Если у вас не скачен питон этой версии, сначала выполните:
 ```
-sudo apt install python3.11 python3.11-venv
+sudo apt install python3.10 python3.10-venv
 ```
 
-Если у нас не устанавливается питон 3.11, то это потому что он отсутствует в официальных репозиториях по умолчанию, надо добавить репозиторий перед скачиванием:
+Если у нас не устанавливается питон 3.10, то это потому что он отсутствует в официальных репозиториях по умолчанию, надо добавить репозиторий перед скачиванием:
 ```
 sudo apt update && sudo apt install -y software-properties-common
 sudo add-apt-repository ppa:deadsnakes/ppa
 sudo apt update
 ```
 
+To install pip:
+
+    sudo apt install -y python3-pip
+
 ### 3. Установка зависимостей
 
 ### 3.1. Способ 1
@@ -86,6 +90,7 @@ sudo apt update
     pip install --upgrade pip
     pip install numpy==1.24.3
     pip install pandas==2.0.3
+    pip install pyyaml
     pip install opencv-python==4.12.0.88
     pip install opencv-python-headless==4.12.0.88
     pip install matplotlib==3.7.5
@@ -128,7 +133,7 @@ pip install protobuf==3.20.3
 
 2. Если будет проблема с функцией cv2.imshow() то, переустановите cv2 без заголовков:
 ```
-pip uninstall opencv-python pip install opencv-python-headless
+pip uninstall opencv-python opencv-python-headless
 pip install opencv-python==4.12.0.88
 ```
 3. Если будет ошибка с PIL, попробуйте обновить библиотеку:

gesture_control/arm_control.py

@@ -2,125 +2,72 @@ import numpy as np
 
 class ArmController:
     def __init__(self, config, mirror=False):
-        self.config = config
-        self.mirror = mirror
-        self.shoulder_idx = {'left': 11, 'right': 12}
-        self.wrist_idx = {'left': 15, 'right': 16}
-        self.hip_idx = {'left': 23, 'right': 24}
-        self.dead_zone = config.get('dead_zone', 0.2)
+        #self.config = config
+        #self.mirror = mirror
+
+        #self.shoulder_idx = {'left': 11, 'right': 12}
+        #self.elbow_idx = {'left': 13, 'ri ght': 14}
+        #self.wrist_idx = {'left': 15, 'right': 16}
+        #self.hip_idx = {'left': 23, 'right': 24}
+
+        self.r_wirst_id = 15 #16
+        self.r_elbow_id = 13 #14
+        self.r_shoulder_id = 11 # 12
+
+        self.error = 23
+        self.bag = 27
+
         self.debug = config.get('debug', False)
-        
-    def _get_side_indices(self, side):
-        """
-        Возвращает (shoulder_idx, wrist_idx) для заданной стороны (left/right).
-        При mirror=True интерпретируем сторону как в реальности: левая/правая рука.
-        """
-        if self.mirror:
-            if side == 'left':
-                s_idx = 12
-                w_idx = 16
-            else:
-                s_idx = 11
-                w_idx = 15
-        else:
-            if side == 'left':
-                s_idx = 11
-                w_idx = 15
-            else:
-                s_idx = 12
-                w_idx = 16
-        return s_idx, w_idx
 
-    def _get_shoulder_width(self, landmarks):
-        """Ширина плеч для нормировки горизонтальных смещений."""
-        left = landmarks[11][:2]
-        right = landmarks[12][:2]
-        width = np.linalg.norm(right - left)
-        if width < 50 or width > 300:
-            return None
-        return width
 
-    def _get_torso_height(self, landmarks):
-        """Высота торса для нормировки вертикальных смещений."""
-        left_shoulder = landmarks[11][:2]
-        right_shoulder = landmarks[12][:2]
-        left_hip = landmarks[23][:2]
-        right_hip = landmarks[24][:2]
-        shoulder_center = (left_shoulder + right_shoulder) / 2
-        hip_center = (left_hip + right_hip) / 2
-        height = np.linalg.norm(shoulder_center - hip_center)
-        if height < 50:
-            return None
-        return height
+    def _get_angle(self, x1, y1, x2, y2):
+        angle = np.arctan2(y2 - y1, x2 - x1)
+        return angle
 
-    def _horizontal_displacement_rel(self, landmarks, side):
-        """
-        Нормированное горизонтальное смещение запястья относительно плеча.
-        Сторона `side` — это реальная сторона руки
-        """
-        s_idx, w_idx = self._get_side_indices(side)
 
-        if landmarks[s_idx][3] < 0.5 or landmarks[w_idx][3] < 0.5:
-            return 0.0
-
-        shoulder = landmarks[s_idx][:2]
-        wrist = landmarks[w_idx][:2]
-
-        shoulder_width = self._get_shoulder_width(landmarks)
-        if shoulder_width is None:
-            return 0.0
-
-        disp = wrist[0] - shoulder[0]
-        return disp / shoulder_width
-
-    def _vertical_displacement_rel(self, landmarks, side):
-        """
-        Вертикальное смещение: верх/низ запястья относительно плеча.
-        Сторона `side` — реальная сторона руки.
-        """
-        s_idx, w_idx = self._get_side_indices(side)
-
-        if landmarks[s_idx][3] < 0.5 or landmarks[w_idx][3] < 0.5:
-            return 0.0
-
-        shoulder = landmarks[s_idx][:2]
-        wrist = landmarks[w_idx][:2]
-
-        torso_height = self._get_torso_height(landmarks)
-        if torso_height is None:
-            return 0.0
-
-        disp = shoulder[1] - wrist[1]
-        return disp / torso_height
 
     def compute_speeds(self, landmarks):
+
+        linear = 0.
+        angular = 0.
+
         if (landmarks[11][3] < 0.5 or landmarks[12][3] < 0.5 or
             landmarks[15][3] < 0.5 or landmarks[16][3] < 0.5):
             if self.debug:
                 print("Руки не видны")
             return 0.0, 0.0
 
-        linear_side = self.config['linear_arm']
-        angular_side = self.config['angular_arm']
+        right_shoulder_point = landmarks[self.r_shoulder_id]
+        right_shoulder_x = right_shoulder_point[0]
+        right_shoulder_y = right_shoulder_point[1]
 
-        lin_rel = self._horizontal_displacement_rel(landmarks, linear_side)
-        ang_rel = self._vertical_displacement_rel(landmarks, angular_side)
+        right_elbow_point = landmarks[self.r_elbow_id] # [x, y, z, v]
+        right_elbow_x = right_elbow_point[0]
+        right_elbow_y = right_elbow_point[1]
 
-        if self.debug:
-            print(f"lin_rel={lin_rel:.3f}, ang_rel={ang_rel:.3f}")
+        angle_shoulder_elbow = self._get_angle(right_shoulder_x, right_shoulder_y, right_elbow_x, right_elbow_y)
 
-        # Линейная скорость (только вперёд)
-        if lin_rel < self.dead_zone:
-            linear = 0.0
-        else:
-            linear = min(lin_rel, 1.0) * self.config['max_speed_linear']
+        right_wirst_point = landmarks[self.r_wirst_id]
+        right_wirst_x = right_wirst_point[0]
+        right_wirst_y = right_wirst_point[1]
 
-        # Угловая скорость
-        if abs(ang_rel) < self.dead_zone:
-            angular = 0.0
-        else:
-            ang_rel_clipped = np.clip(ang_rel, -1.0, 1.0)
-            angular = ang_rel_clipped * self.config['max_speed_angular']
+        angle_elbow_wirst = self._get_angle(right_elbow_x, right_elbow_y, right_wirst_x, right_wirst_y)
+
+        five_deg_in_rad = np.deg2rad(self.error)
+
+
+        if (angle_shoulder_elbow < np.pi/2.5 + five_deg_in_rad) and (angle_shoulder_elbow > np.pi/2.5 -five_deg_in_rad):
+            print(f"Angle between shoulder and elbow is {angle_shoulder_elbow} {np.rad2deg(angle_shoulder_elbow)}")
+            #print(f"Angle between elbow and wirst is {angle_elbow_wirst}")
+            if (angle_elbow_wirst > np.deg2rad(-90 - self.error)) and (angle_elbow_wirst < np.deg2rad(-90 + self.error)):
+                linear = 1.
+            if (angle_elbow_wirst > np.deg2rad(90 - self.error)) and (angle_elbow_wirst < np.deg2rad(90 + self.error)):
+                linear = -1.
+            if (angle_elbow_wirst > np.deg2rad(-45 - self.bag)) and (angle_elbow_wirst < np.deg2rad(-45 + self.bag)):
+                angular = -1.
+            if (angle_elbow_wirst > np.deg2rad(-135 - self.bag)) and (angle_elbow_wirst < np.deg2rad(-135 + self.bag)):
+                angular = 1.
 
         return linear, angular
 
+

gesture_control/special_gestures.py

@@ -1,10 +1,10 @@
 import numpy as np
-from ml_gestures.predict import MLGesturePredictor
 
 class SpecialGestureDetector:
     def __init__(self, mode='geometric', model_path=None, class_names=None):
         self.mode = mode
         if mode == 'ml':
+            from ml_gestures.predict import MLGesturePredictor
             if model_path is None or class_names is None:
                 raise ValueError("Для ML нужны model_path и class_names")
             self.ml_predictor = MLGesturePredictor(model_path, class_names)
@@ -54,7 +54,7 @@ class SpecialGestureDetector:
         l_hip = landmarks[idx['left_hip']][:2]
         r_hip = landmarks[idx['right_hip']][:2]
         nose = np.array(landmarks[idx['nose']][:2])
-        
+
         shoulder_center_y = (l_sh[1] + r_sh[1]) / 2
         hip_center_y = (l_hip[1] + r_hip[1]) / 2
         torso_height = hip_center_y - shoulder_center_y
@@ -74,11 +74,30 @@ class SpecialGestureDetector:
             v2 = wrist - elbow
             return angle_between_vectors(v1, v2)
 
+        def segments_intersect(p1, p2, p3, p4):
+            def cross(o, a, b):
+                return (a[0] - o[0]) * (b[1] - o[1]) - (a[1] - o [1])* (b[0] - o[0])
+            d1 = cross(p3, p4, p1)
+            d2 = cross(p3, p4, p2)
+            d3 = cross(p1, p2, p3)
+            d4 = cross(p1, p2, p4)
+            return (d1 * d2 < 0) and (d3 * d4 < 0)
+
+        def line_intersection(p1, p2, p3, p4):
+            d1 = p2 - p1
+            d2 = p4 -p3
+            denom = d1[0] * d2[1] - d1[1] * d2[0]
+            if abs(denom) < 1e-6:
+                return None
+            t = ((p3[0] - p1[0]) * d2[1] - (p3[1] - p1[1]) * d2[0]) / denom
+            return p1 + t * d1
+
         # ---- Вычисляем углы ----
         l_angle = elbow_angle(l_sh, l_el, l_wr)   # угол в левом локте
         r_angle = elbow_angle(r_sh, r_el, r_wr)   # угол в правом локте
 
         # ---- КРЕСТ ----
+        '''
         # 1. Оба локтя сильно согнуты (< 100°)
         elbows_bent = (l_angle < 100 and r_angle < 100)
         # 2. Левое запястье правее правого (перекрест)
@@ -90,6 +109,15 @@ class SpecialGestureDetector:
         )
 
         cross = elbows_bent and wrists_crossed and wrists_at_chest
+        if cross:
+            return 'cross'
+        '''
+        forearms_cross = segments_intersect(l_el, l_wr, r_el, r_wr)
+        intersection = line_intersection(l_el, l_wr, r_el, r_wr)
+        intersection_on_chest = False
+        if intersection is not None:
+            intersection_on_chest = (shoulder_center_y - 0.2 * torso_height < intersection[1] < hip_center_y + 0.2 * torso_height)
+        cross = forearms_cross and intersection_on_chest
         if cross:
             return 'cross'
 

install_deps.sh

@@ -6,6 +6,7 @@ pip install --upgrade pip
 
 pip install numpy==1.24.3
 pip install pandas==2.0.3
+pip install pyyaml==6.0.3
 pip install opencv-python==4.12.0.88
 pip install opencv-python-headless==4.12.0.88
 pip install matplotlib==3.7.5