Не удается заставить NGINX auth_request работать с UWSGI + Django REST backend
У меня есть работающее NGINX > UWSGI > Django REST приложение, где загрузка больших файлов отправляется на NGINX напрямую. После завершения загрузки Django получает уведомление о том, что загрузка завершена, и далее обновляет свою базу данных.
Как только я добавляю подзапрос auth_request в конфигурацию NGINX, однако, я получаю 502 ошибку upstream. Я пробовал много разных вещей, основываясь на информации, которую я нашел (в SO, но также и в других местах). Ни один из примеров, которые я видел, не использовал UWSGI. Большинство примеров auth_request просто ссылаются на какой-то auth-сервер, который подключен, но без дальнейших деталей. Ниже вы можете найти некоторые из конфигурационных файлов, которые я использую. nginx.conf работает без проблем без оператора 'auth_request /auth'.
Все работает в контейнерах Docker в сети yoda_default. Мой контейнер бэкенда Django называется yoda_web и работает на порту 8001, так что это то, что вы видите в nginx.conf (uwsgi_pass yoda_web:8001). Сам NGINX работает на порту 8002. Внизу находится скрипт pytest, который я использовал для проверки всего. Без оператора 'auth_request' в nginx.conf все работает нормально (см. результаты ниже)
yoda_nginx | 172.31.0.1 - - [28/Nov/2021:08:59:17 +0000] "POST /tokens HTTP/1.1" 200 52 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"
yoda_web | [pid: 18|app: 0|req: 3/5] 172.31.0.1 () {38 vars in 554 bytes} [Sun Nov 28 08:59:17 2021] POST /tokens => generated 52 bytes in 161 msecs (HTTP/1.1 200) 7 headers in 201 bytes (1 switches on core 0)
yoda_web | Moved /data/uploads/1/0000000011 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/5.dcm
yoda_web | Moved /data/uploads/2/0000000012 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/4.dcm
yoda_web | Moved /data/uploads/3/0000000013 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/1.dcm
yoda_web | Moved /data/uploads/4/0000000014 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/3.dcm
yoda_web | Moved /data/uploads/5/0000000015 to /data/datasets/34fc4494-32d5 4f20-be49-e35a6ab1a5fd/2.dcm
yoda_web | [pid: 17|app: 0|req: 3/6] 172.31.0.1 () {40 vars in 693 bytes} [Sun Nov 28 08:59:17 2021] POST /upload => generated 163 bytes in 25 msecs (HTTP/1.1 201) 7 headers in 215 bytes (1 switches on core 0)
yoda_nginx | 172.31.0.1 - - [28/Nov/2021:08:59:17 +0000] "POST /upload HTTP/1.1" 201 163 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"
При использовании auth_request загрузка не удается (см. ошибку ниже)
yoda_nginx | 192.168.0.1 - - [28/Nov/2021:08:59:48 +0000] "POST /tokens HTTP/1.1"
200 52 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"
yoda_web | [pid: 18|app: 0|req: 1/1] 192.168.0.1 () {38 vars in 555 bytes} [Sun Nov 28 08:59:48 2021] POST /tokens => generated 52 bytes in 286 msecs (HTTP/1.1 200) 7 headers in 201 bytes (1 switches on core 0)
yoda_nginx | 2021/11/28 08:59:52 [error] 6#6: *3 upstream prematurely closed connection while reading response header from upstream, client: 192.168.0.1, server: localhost, request: "POST /upload HTTP/1.1", subrequest: "/auth", upstream: "http://192.168.0.5:8001/auth", host: "localhost:8002"
yoda_nginx | 2021/11/28 08:59:52 [error] 6#6: *3 auth request unexpected status: 502 while sending to client, client: 192.168.0.1, server: localhost, request: "POST /upload HTTP/1.1", host: "localhost:8002"
yoda_nginx | 192.168.0.1 - - [28/Nov/2021:08:59:52 +0000] "POST /upload HTTP/1.1" 500 177 "-" "python-requests/2.7.0 CPython/3.9.9 Darwin/20.6.0" "-"
Было бы здорово, если бы кто-нибудь смог пролить свет на эту проблему. У меня такое чувство, что это что-то простое, что я упускаю из виду.
Спасибо
urls.py:
path('auth', views.auth_nginx)
docker-compose.yml:
version: '3'
services:
nginx:
build: ./nginx
image: surgerymumc/yoda-nginx:latest
container_name: yoda_nginx
ports:
- "8002:8000"
volumes:
# Remove these lines in production
- ./nginx/nginx.conf:/etc/nginx/nginx.conf
- ./nginx/nginx.default.conf:/etc/nginx/conf.d/default.conf
###
- data:/data
depends_on:
- web
web:
build: .
image: surgerymumc/yoda-web:latest
container_name: yoda_web
environment:
- ALLOWED_HOSTS
- ROOT_DIR
- POSTGRES_HOST
- REDIS_HOST
- DEBUG
volumes:
# Remove these lines in production
- ./docker-entrypoint.sh:/docker-entrypoint.sh
- ./uwsgi.ini:/uwsgi.ini
- ./src/yoda:/src
###
- data:/data
depends_on:
- db
redis:
restart: always
image: redis:6.2.5
container_name: yoda_redis
command: bash -c "redis-server"
ports:
- "6379:6379"
rq:
image: surgerymumc/yoda-web:latest
container_name: yoda_rq
command: bash -c "export CUDA_VISIBLE_DEVICES=1 && python manage.py rqworker"
environment:
- ALLOWED_HOSTS
- ROOT_DIR
- POSTGRES_HOST
- REDIS_HOST
- DEBUG
volumes:
# Remove these lines in production
- ./src/yoda:/src
###
- data:/data
depends_on:
- db
- redis
db:
restart: always
image: postgres:10.5-alpine
container_name: yoda_postgres
volumes:
- postgres_data:/var/lib/postgresql/data
expose:
- "5432"
ports:
- "5432:5432"
volumes:
data:
driver: local
postgres_data:
driver: local
nginx.conf (только серверный блок):
server {
listen 8000;
server_name localhost;
client_max_body_size 8000M;
client_body_buffer_size 8000M;
client_body_timeout 120;
add_header X-Clacks-Overhead "GNU Terry Pratchett";
add_header X-Clacks-Overhead "GNU Terry Pratchet";
add_header Access-Control-Allow-Origin *;
add_header 'Access-Control-Allow-Credentials' 'true';
add_header 'Access-Control-Allow-Methods' 'GET, POST, OPTIONS';
add_header 'Access-Control-Allow-Headers' 'Authorization,DNT,X-CustomHeader,Keep Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type';
location / {
include /etc/nginx/uwsgi_params.par;
uwsgi_pass yoda_web:8001;
uwsgi_max_temp_file_size 10024m;
}
location /static/ {
alias /data/static/;
}
location /upload {
auth_request /auth;
# After upload, pass altered request body to this django view
upload_pass /datasets/create;
# Store files to this directory
# The directory is hashed, subdirectories 0 1 2 3 4 5 6 7 8 9 should exist
upload_store /data/uploads 1;
upload_store_access user:rw group:rw all:rw;
# Set specified fields in request body
upload_set_form_field $upload_field_name.name "$upload_file_name";
upload_set_form_field $upload_field_name.content_type "$upload_content_type";
upload_set_form_field $upload_field_name.path "$upload_tmp_path";
# Inform backend about hash and size of a file
upload_aggregate_form_field "$upload_field_name.md5" "$upload_file_md5";
upload_aggregate_form_field "$upload_field_name.size" "$upload_file_size";
# Here is where you define additional fields to pass through to upload_complete
upload_pass_form_field "^submit$|^description$";
upload_pass_form_field "^name$";
upload_pass_form_field "^terminal$";
upload_cleanup 400-599;
}
location = /auth {
internal;
proxy_pass http://yoda_web:8001;
proxy_pass_request_body off;
proxy_set_header Content-Length "";
proxy_set_header X-Original-URI $request_uri;
#proxy_set_header Host $host;
#proxy_read_timeout 300s;
#proxy_connect_timeout 75s;
#proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
#proxy_set_header X-Forwarded-Proto $scheme;
#proxy_set_header X-Real-IP $remote_addr;
#proxy_set_header Authorization $http_authorization;
#proxy_pass_header Authorization;
}
}
test_upload.py (pytest):
import os
import requests
def test_upload():
response = requests.post(
'http://localhost:8002/tokens',
data={'username': 'johnny', 'foobar': 'arturo4ever'})
token = response.json()['token']
files = []
test_data = 'src/yoda/tests/test_data/set1'
for f in os.listdir(test_data):
files.append(('files', open(os.path.join(test_data, f), 'rb')))
response = requests.post(
'http://localhost:8002/upload',
headers={'Authorization': 'Token {}'.format(token)}, files=files)
assert response.status_code == 201