Каковы лучшие практики для потребления сообщений Kafka в Django

Я работаю над проектом IoT, который использует протокол MQTT для передачи данных датчиков от встроенных устройств в приложение. Для этого я создал,

  1. A MQTT broker to send the data from the device.
  2. A custom bridge that push data from MQTT broker to my Kafka broker
  3. Django server to push the messages via websocket to the App

Сейчас мне нужно потреблять сообщения Kafka из django, сохранять их в DB и затем передавать эти данные клиенту через websockets. Но я не очень хорошо представляю, как потреблять сообщения Kafka из Django. Пока что я думаю, что решение состоит в том, чтобы с помощью команды custom management command запустить kafka consumer, переслать данные в DB, а затем в websockets.

Является ли это хорошим подходом? Если нет, то какое решение было бы хорошим для решения этой проблемы?

Вы можете добавить периодическую задачу для потребления темы и массовой вставки (или обновления) в базу данных (это влияет на производительность).

Вернуться на верх