Веб-приложение Django I/O для запуска блокнота databricks, выполнения процесса и хранения результатов на s3

У меня есть полностью функциональное веб-приложение django, работающее на локальной машине windows. Однако теперь мне нужно развернуть его на aws ec2 windows server.

  1. Это приложение типа "загрузить - обработать - скачать".
  2. Поскольку обработка довольно тяжелая, я хочу переложить ее на databricks notebook.
  3. Итак, DB Notebook должен получить доступ к входному файлу, обработать его и позже сохранить выход, который можно загрузить с помощью веб-приложения.

Мой вопрос в том,

  1. Можно ли это сделать ?

  2. Я думал о способе, где я могу вызвать блокнот через запрос rest API с необходимыми параметрами. (Я не смог найти никакого способа). Если я запускаю DB Notebook с AWS-lambda, то могу ли я запустить AWS-лямбду через rest API ?

    3. Вход и выход могут быть сохранены в DBFS / S3 ?

  3. Если кто-то работал над подобной деятельностью, может ли кто-нибудь предложить способ, как это сделать.

  4. Я совсем новичок в databricks, поэтому не знаю большинства его функциональных возможностей.

    • Примечание - оба входных и выходных файла имеют формат .csv. Я понимаю, что это может быть похоже на некоторые другие вопросы здесь, но я не смог найти такой конкретный случай использования.
      • .
    Вернуться на верх