Развертывание Tensorflow MoveNet для оценки позы (почти в реальном времени)
Для школьного проекта мы создаем приложение, которое выполняет оценку позы детей, выполняющих физические тесты. Дети снимаются с помощью планшетов. Кадры отправляются на сервер для обработки, так как планшеты недостаточно мощные для оценки позы. Затем сервер выполняет оценку позы с помощью Tensorflow MoveNet Thunder и отправляет некоторые данные обратно на планшет.
В настоящее время мы используем Django на стороне сервера и имеем react-native приложение, работающее на планшетах. Для связи мы установили websocket между планшетом и сервером, чтобы отправлять кадры с планшета на сервер и передавать данные с сервера на планшет. Перед передачей кадры кодируются base64.
const base64Image = data.toString('base64');
const message = {
'frame_index': i,
'frame': base64Image,
'is_last_frame': i === amountOfFrames,
'test_child_id': test_child_id
};
// console.log("Sending message:", message)
// Send to websocket with the image data
jumping_sidways_socket.send(JSON.stringify(message));
Мы знаем, что передача кадров на сервер отвечает за большую часть задержки, что затрудняет обработку кадров в режиме, близком к реальному времени. Вопрос, можно ли увеличить скорость передачи данных?