Django страница, которая загружает csv в память и отправляет json на api

Я пытаюсь использовать django для создания сайта, который взаимодействует с api для пользователя. Первая страница сайта должна быть загружена в формате csv, затем данные анализируются в формате json и отправляются на api.

Я прошел учебник по django для приложения "Опросы" и имею минимальное представление о django. Но это действительно ошеломляет.

Мне удалось заставить работать загрузку csv с этого сайта: csv upload

Но это сохраняет данные в модели. (Что в конечном итоге может быть нормально.) Но я подумал, что я могу просто загрузить csv и преобразовать его прямо в json, не сохраняя его?

Я думаю, что я просто ищу направление, как иметь простой upload, где upload buttom - это просто submit, который запускает csv ingestion, форматирование и api запрос. Единственное, что, как я думаю, мне нужно хранить, это ответ на запрос. (Он возвращает идентификатор, который мне нужен для получения результатов через другой вызов API).

Я также заметил, что текущее представление обновляет таблицу только с новыми строками. Поэтому я смог добавить "profile.objects.all().delete()" перед циклом чтения csv, чтобы очищать таблицу перед каждой загрузкой.

CSV Upload:

name,email,address,phone,profile
Sima,simathapa111@gmail.com,Nadipur,14151234567,"She is a developer, researcher and food-lover."
Gita,geeta12@outlook.com,Pokhara,(415) 123-4567,"Geeta is a teacher, she loves to play and dance."
Ram,ram123@gmail.com,Kathmandu,17735356563,Ram delivers food.

Формат JSON:

{
    "peopleRecords": [
        {
            "name": "Sima",
            "email": "simathapa111@gmail.com",
            "address": "Nadipur",
            "phone": "14151234567",
            "profile": "She is a developer, researcher and food-lover."
        },
        {
            "name": "Gita",
            "email": "geeta12@outlook.com",
            "address": "Pokhara",
            "phone": "(415) 123-4567",
            "profile": "Geeta is a teacher, she loves to play and dance."
        },
        {
            "name": "Ram",
            "email": "ram123@gmail.com",
            "address": "Kathmandu",
            "phone": "17735356563",
            "profile": "Ram delivers food."
        }
]}

Модель:

from django.db import models
# Create your models here.
from phonenumber_field.modelfields import PhoneNumberField
class Profile(models.Model):
    name = models.CharField(max_length=150)
    email = models.EmailField(blank=True)
    address = models.CharField(max_length=50)
    phone = models.CharField(max_length=150,unique=True)
    profile = models.TextField()
    def __str__(self):
        return self.name

Admin:

from django.contrib import admin
# Register your models here.
from .models import Profile
admin.site.register(Profile)

Вид:

import csv, io
from django.shortcuts import render
from django.contrib import messages
# Create your views here.
# one parameter named request
def profile_upload(request):
    # declaring template
    template = "profile_upload.html"
    data = Profile.objects.all()
# prompt is a context variable that can have different values      depending on their context
    prompt = {
        'order': 'Order of the CSV should be name, email, address,    phone, profile',
        'profiles': data    
              }
    # GET request returns the value of the data with the specified key.
    if request.method == "GET":
        return render(request, template, prompt)
    csv_file = request.FILES['file']
    # let's check if it is a csv file
    if not csv_file.name.endswith('.csv'):
        messages.error(request, 'THIS IS NOT A CSV FILE')
    data_set = csv_file.read().decode('UTF-8')
    # setup a stream which is when we loop through each line we are able to handle a data in a stream
io_string = io.StringIO(data_set)
next(io_string)
for column in csv.reader(io_string, delimiter=',', quotechar="|"):
    _, created = Profile.objects.update_or_create(
        name=column[0],
        email=column[1],
        address=column[2],
        phone=column[3],
        profile=column[4]
    )
context = {}
return render(request, template, context)

Шаблон:

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
    {% if messages %}
        {% for message in messages %}
            <div>
<!--                | means OR operator-->
                <strong>{{message|safe}}</strong>
            </div>
        {% endfor %}
    {% else %}
    {{order}}
    <form action="" method="POST" enctype="multipart/form-data">
        {% csrf_token %}
        <label for="file1"> Upload a file</label>
        <input type="file" id="file1" name="file">
        <small>Only accepts CSV files</small>
        <button type="submit">Upload</button>
    </form>
    {% endif %}
    {% for profile in profiles %}
    {{profile.name}}
    {% endfor %}
</body>
</html>

URL:

from django.contrib import admin
from django.urls import path
from django.conf import settings
from django.conf.urls.static import static

from csvfile.views import profile_upload

urlpatterns = [
    path('admin/', admin.site.urls),
    path('upload-csv/', profile_upload, name="profile_upload"),
]

Да, вы можете поместить информацию в json, не сохраняя ее в базе данных. Но в любом случае вы должны сохранить файл csv и затем работать с этим файлом. После сохранения файла вы можете сделать то же самое с помощью аналогичного куска кода, приведенного ниже:

csv_file = open("csv_file.csv")
csv_file.readline()  # To cross the first line.
data = []
for line in csv_file:
    name, email, address, phone, profile = line.split(",")
    data.append({
        "name": name,
        "email": email,
        "address": address,
        "phone": phone,
        "profile": profile
    })

# return data ...
Вернуться на верх