Как интегрировать код компьютерного зрения в реальном времени в django

У меня есть этот код для обнаружения действий в реальном времени с помощью MediaPipe и модели глубокого обучения. Я хочу создать веб-приложение для потокового видео на Django и интегрировать этот код для обнаружения действий из кадров. Я попробовал поместить весь код в класс (вместе с определениями функций для каждой функции, вызываемой в коде) в отдельном скрипте python (camera.py). Затем я импортировал весь класс в свой views.py, но кадры не отображаются при запуске сервера. Вот код, который я хотел бы интегрировать в приложение Django:

sequence = []
sentence = []
predictions = []
threshold = 0.5

cap = cv2.VideoCapture(0)
# Set mediapipe model 
with mp_holistic.Holistic(min_detection_confidence=0.5, min_tracking_confidence=0.5) as holistic:
    while cap.isOpened():

        # Read feed
        ret, frame = cap.read()

        # Make detections
        image, results = mediapipe_detection(frame, holistic)
        print(results)
        
        # Draw landmarks
        draw_styled_landmarks(image, results)
        
        # 2. Prediction logic
        keypoints = extract_keypoints(results)
        sequence.append(keypoints)
        sequence = sequence[-30:]
        
        if len(sequence) == 30:
            res = model.predict(np.expand_dims(sequence, axis=0))[0]
            print(actions[np.argmax(res)])
            predictions.append(np.argmax(res))
            
            
        #3. Viz logic
            if np.unique(predictions[-10:])[0]==np.argmax(res): 
                if res[np.argmax(res)] > threshold: 
                    
                    if len(sentence) > 0: 
                        if actions[np.argmax(res)] != sentence[-1]:
                            sentence.append(actions[np.argmax(res)])
                    else:
                        sentence.append(actions[np.argmax(res)])

            if len(sentence) > 5: 
                sentence = sentence[-5:]

            # Viz probabilities
            image = prob_viz(res, actions, image, colors)
            
        cv2.rectangle(image, (0,0), (640, 40), (245, 117, 16), -1)
        cv2.putText(image, ' '.join(sentence), (3,30), 
                       cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 255, 255), 2, cv2.LINE_AA)
        
        # Show to screen
        cv2.imshow('OpenCV Feed', image)

        # Break gracefully
        if cv2.waitKey(10) & 0xFF == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()

Хотелось бы узнать, что должно быть в camera.py, views.py, urls.py и html-шаблоне. Большое спасибо!

Ваш camera.py не будет работать с сайтом Django. В вашем текущем коде вы получаете видео непосредственно с устройства, на котором запущен ваш скрипт. Таким образом, если вы запустите camera.py в клиент-серверной среде, он будет искать камеру на сервере, но вы хотите захватить поток от пользователя.

Таким образом, чтобы добиться желаемого, вам придется установить сокетное соединение с пользователем и постоянно перехватывать и отправлять данные с него на ваш сервер, либо просто использовать WebRTC для захвата видео.

Это немного сложный процесс, который я не могу полностью продемонстрировать в коде, пожалуйста, поищите в этих темах, и это должно дать вам некоторое представление.

Я бы рекомендовал вам прочитать Django Channels документацию о том, как настроить Websockets через архитектуру asgi.

Для более конкретной реализации WebSockets, вы можете посмотреть мое репо ниже с похожим подходом: https://github.com/snowby666/Django-OpenCV-Video-Streaming

Вернуться на верх