Развертывание Tensorflow MoveNet для оценки позы (почти в реальном времени)

Для школьного проекта мы создаем приложение, которое выполняет оценку позы детей, выполняющих физические тесты. Дети снимаются с помощью планшетов. Кадры отправляются на сервер для обработки, так как планшеты недостаточно мощные для оценки позы. Затем сервер выполняет оценку позы с помощью Tensorflow MoveNet Thunder и отправляет некоторые данные обратно на планшет.

В настоящее время мы используем Django на стороне сервера и имеем react-native приложение, работающее на планшетах. Для связи мы установили websocket между планшетом и сервером, чтобы отправлять кадры с планшета на сервер и передавать данные с сервера на планшет. Перед передачей кадры кодируются base64.

const base64Image = data.toString('base64');

const message = {
   'frame_index': i,
   'frame': base64Image,
   'is_last_frame': i === amountOfFrames,
   'test_child_id': test_child_id
};
// console.log("Sending message:", message)
// Send to websocket with the image data
jumping_sidways_socket.send(JSON.stringify(message));

Мы знаем, что передача кадров на сервер отвечает за большую часть задержки, что затрудняет обработку кадров в режиме, близком к реальному времени. Вопрос, можно ли увеличить скорость передачи данных?

Вернуться на верх