Не удается заставить NGINX auth_request работать с UWSGI + Django REST backend

У меня есть работающее NGINX > UWSGI > Django REST приложение, где загрузка больших файлов отправляется на NGINX напрямую. После завершения загрузки Django получает уведомление о том, что загрузка завершена, и далее обновляет свою базу данных.

Как только я добавляю подзапрос auth_request в конфигурацию NGINX, однако, я получаю 502 ошибку upstream. Я пробовал много разных вещей, основываясь на информации, которую я нашел (в SO, но также и в других местах). Ни один из примеров, которые я видел, не использовал UWSGI. Большинство примеров auth_request просто ссылаются на какой-то auth-сервер, который подключен, но без дальнейших деталей. Ниже вы можете найти некоторые из конфигурационных файлов, которые я использую. nginx.conf работает без проблем без оператора 'auth_request /auth'.

Все работает в контейнерах Docker в сети yoda_default. Мой контейнер бэкенда Django называется yoda_web и работает на порту 8001, так что это то, что вы видите в nginx.conf (uwsgi_pass yoda_web:8001). Сам NGINX работает на порту 8002. Внизу находится скрипт pytest, который я использовал для проверки всего. Без оператора 'auth_request' в nginx.conf все работает нормально (см. результаты ниже)

yoda_nginx     | 172.31.0.1 - - [28/Nov/2021:08:59:17 +0000] "POST /tokens HTTP/1.1" 200 52 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"
yoda_web       | [pid: 18|app: 0|req: 3/5] 172.31.0.1 () {38 vars in 554 bytes} [Sun Nov 28 08:59:17 2021] POST /tokens => generated 52 bytes in 161 msecs (HTTP/1.1 200) 7 headers in 201 bytes (1 switches on core 0)
yoda_web       | Moved /data/uploads/1/0000000011 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/5.dcm
yoda_web       | Moved /data/uploads/2/0000000012 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/4.dcm
yoda_web       | Moved /data/uploads/3/0000000013 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/1.dcm
yoda_web       | Moved /data/uploads/4/0000000014 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/3.dcm
yoda_web       | Moved /data/uploads/5/0000000015 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/2.dcm
yoda_web       | [pid: 17|app: 0|req: 3/6] 172.31.0.1 () {40 vars in 693 bytes} [Sun Nov 28 08:59:17 2021] POST /upload => generated 163 bytes in 25 msecs (HTTP/1.1 201) 7 headers in 215 bytes (1 switches on core 0)
yoda_nginx     | 172.31.0.1 - - [28/Nov/2021:08:59:17 +0000] "POST /upload HTTP/1.1" 201 163 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"

При использовании auth_request загрузка не удается (см. ошибку ниже)

yoda_nginx     | 192.168.0.1 - - [28/Nov/2021:08:59:48 +0000] "POST /tokens HTTP/1.1" 
200 52 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"
yoda_web       | [pid: 18|app: 0|req: 1/1] 192.168.0.1 () {38 vars in 555 bytes} [Sun Nov 28 08:59:48 2021] POST /tokens => generated 52 bytes in 286 msecs (HTTP/1.1 200) 7 headers in 201 bytes (1 switches on core 0)
yoda_nginx     | 2021/11/28 08:59:52 [error] 6#6: *3 upstream prematurely closed connection while reading response header from upstream, client: 192.168.0.1, server: localhost, request: "POST /upload HTTP/1.1", subrequest: "/auth", upstream: "http://192.168.0.5:8001/auth", host: "localhost:8002"
yoda_nginx     | 2021/11/28 08:59:52 [error] 6#6: *3 auth request unexpected status: 502 while sending to client, client: 192.168.0.1, server: localhost, request: "POST /upload HTTP/1.1", host: "localhost:8002"
yoda_nginx     | 192.168.0.1 - - [28/Nov/2021:08:59:52 +0000] "POST /upload HTTP/1.1" 500 177 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"

Было бы здорово, если бы кто-нибудь смог пролить свет на эту проблему. У меня такое чувство, что это что-то простое, что я упускаю из виду.

Спасибо

urls.py:

path('auth', views.auth_nginx)

docker-compose.yml:

version: '3'
services:
  nginx:
    build: ./nginx
    image: surgerymumc/yoda-nginx:latest
    container_name: yoda_nginx
    ports:
      - "8002:8000"
    volumes:
      # Remove these lines in production
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./nginx/nginx.default.conf:/etc/nginx/conf.d/default.conf
      ###
      - data:/data
    depends_on:
      - web
  web:
    build: .
    image: surgerymumc/yoda-web:latest
    container_name: yoda_web
    environment:
      - ALLOWED_HOSTS
      - ROOT_DIR
      - POSTGRES_HOST
      - REDIS_HOST
      - DEBUG
    volumes:
      # Remove these lines in production
      - ./docker-entrypoint.sh:/docker-entrypoint.sh
      - ./uwsgi.ini:/uwsgi.ini
      - ./src/yoda:/src
      ###
      - data:/data
    depends_on:
      - db
  redis:
    restart: always
    image: redis:6.2.5
    container_name: yoda_redis
    command: bash -c "redis-server"
    ports:
      - "6379:6379"
  rq:
    image: surgerymumc/yoda-web:latest
    container_name: yoda_rq
    command: bash -c "export CUDA_VISIBLE_DEVICES=1 && python manage.py rqworker"
    environment:
      - ALLOWED_HOSTS
      - ROOT_DIR
      - POSTGRES_HOST
      - REDIS_HOST
      - DEBUG
    volumes:
      # Remove these lines in production
      - ./src/yoda:/src
      ###
      - data:/data
    depends_on:
      - db
      - redis
  db:
    restart: always
    image: postgres:10.5-alpine
    container_name: yoda_postgres
    volumes:
      - postgres_data:/var/lib/postgresql/data
    expose:
      - "5432"
    ports:
      - "5432:5432"
volumes:
  data:
    driver: local
  postgres_data:
    driver: local

nginx.conf (только серверный блок):

server {

  listen 8000;
  server_name localhost;

  client_max_body_size 8000M;
  client_body_buffer_size 8000M;
  client_body_timeout 120;

  add_header X-Clacks-Overhead "GNU Terry Pratchett";
  add_header X-Clacks-Overhead "GNU Terry Pratchet";
  add_header Access-Control-Allow-Origin *;
  add_header 'Access-Control-Allow-Credentials' 'true';
  add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
  add_header 'Access-Control-Allow-Headers' 'Authorization,DNT,X-CustomHeader,Keep Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type';

  location / {
    include /etc/nginx/uwsgi_params.par;
    uwsgi_pass yoda_web:8001;
    uwsgi_max_temp_file_size 10024m;
  }

  location /static/ {
    alias /data/static/;
  }

  location /upload {

    auth_request /auth;

    # After upload, pass altered request body to this django view
    upload_pass /datasets/create;

    # Store files to this directory
    # The directory is hashed, subdirectories 0 1 2 3 4 5 6 7 8 9 should exist
    upload_store /data/uploads 1;
    upload_store_access user:rw group:rw all:rw;

    # Set specified fields in request body
    upload_set_form_field $upload_field_name.name "$upload_file_name";
    upload_set_form_field $upload_field_name.content_type "$upload_content_type";
    upload_set_form_field $upload_field_name.path "$upload_tmp_path";

    # Inform backend about hash and size of a file
    upload_aggregate_form_field "$upload_field_name.md5" "$upload_file_md5";
    upload_aggregate_form_field "$upload_field_name.size" "$upload_file_size";

    # Here is where you define additional fields to pass through to upload_complete
    upload_pass_form_field "^submit$|^description$";
    upload_pass_form_field "^name$";
    upload_pass_form_field "^terminal$";
    upload_cleanup 400-599;
  }

  location = /auth {
    internal;
    proxy_pass http://yoda_web:8001;
    proxy_pass_request_body off;
    proxy_set_header Content-Length "";
    proxy_set_header X-Original-URI $request_uri;

    #proxy_set_header Host $host;
    #proxy_read_timeout 300s;
    #proxy_connect_timeout 75s;
    #proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    #proxy_set_header X-Forwarded-Proto $scheme;
    #proxy_set_header X-Real-IP $remote_addr;
    #proxy_set_header Authorization $http_authorization;
    #proxy_pass_header Authorization;
  }
}

test_upload.py (pytest):

import os
import requests

def test_upload():
    response = requests.post(
        'http://localhost:8002/tokens',
        data={'username': 'johnny', 'foobar': 'arturo4ever'})
    token = response.json()['token']
    files = []
    test_data = 'src/yoda/tests/test_data/set1'
    for f in os.listdir(test_data):
        files.append(('files', open(os.path.join(test_data, f), 'rb')))
    response = requests.post(
        'http://localhost:8002/upload',
        headers={'Authorization': 'Token {}'.format(token)}, files=files)
    assert response.status_code == 201
Вернуться на верх