Пользовательский интерфейс Airflow не показывает кляпы

Я использую airflow достаточно долго, но это первый раз, когда я не знаю, почему он не работает правильно. У меня есть приложение django и airflow в качестве планировщика (оба на docker), все работает хорошо, когда я использовал одну postgres db для обоих, но когда я попытался разделить их и сделать на двух разных кластерах, я столкнулся с проблемой: airflow видит мои dags, но не показывает в ui: он видит, что есть 311 дагов, но также говорит 'no result'

  1. Я проверил соединение с базой данных: psql -h host -U username -p port -d dbname, для обоих (django db и airflow db) оно работает, также в airflow db в таблице dag есть 311 элементов, как и должно быть (я пытался удалить их и сделать 'airflow db init')
    2. .
  2. Журналы чисты для 3 сервисов airflow в docker: worker, scheduler и webserver (конечно, после всех моих изменений я сделал 'docker-compose restart worker scheduler webserver' или 'down --volumes' и 'up --build -d')
  3. Я правильно установил параметры db в Dockerfile, docker-compose.yml и airflow.cfg
    4. .
  4. Когда я пытаюсь в каком-нибудь контейнере airflow выполнить 'airflow dags list', он показывает их правильно
    5. .
  5. Я думал, что проблема может быть в соединениях с бд в dags.py, где я настраивал django ("import django; django.setup()") и это могло нарушить соединение airflow с бд и записать информацию о дагах в бд неправильно, но я попробовал использовать другой ORM и закрыть соединение в конце файла, так что проблема не появилась
    6. .
  6. Последнее, о чем я могу думать, это о неправильных дагах (но все равно не понимаю, что это работает в одной бд на localhost, но не в двух разных на кластерах) Вот я импортирую django Вот пример генерации динамических дагов (я также попробовал изменить 'start_date' на datetime(2024, 1, 1))
Вернуться на верх