Django страница, которая загружает csv в память и отправляет json на api
Я пытаюсь использовать django для создания сайта, который взаимодействует с api для пользователя. Первая страница сайта должна быть загружена в формате csv, затем данные анализируются в формате json и отправляются на api.
Я прошел учебник по django для приложения "Опросы" и имею минимальное представление о django. Но это действительно ошеломляет.
Мне удалось заставить работать загрузку csv с этого сайта: csv upload
Но это сохраняет данные в модели. (Что в конечном итоге может быть нормально.) Но я подумал, что я могу просто загрузить csv и преобразовать его прямо в json, не сохраняя его?
Я думаю, что я просто ищу направление, как иметь простой upload, где upload buttom - это просто submit, который запускает csv ingestion, форматирование и api запрос. Единственное, что, как я думаю, мне нужно хранить, это ответ на запрос. (Он возвращает идентификатор, который мне нужен для получения результатов через другой вызов API).
Я также заметил, что текущее представление обновляет таблицу только с новыми строками. Поэтому я смог добавить "profile.objects.all().delete()" перед циклом чтения csv, чтобы очищать таблицу перед каждой загрузкой.
CSV Upload:
name,email,address,phone,profile
Sima,simathapa111@gmail.com,Nadipur,14151234567,"She is a developer, researcher and food-lover."
Gita,geeta12@outlook.com,Pokhara,(415) 123-4567,"Geeta is a teacher, she loves to play and dance."
Ram,ram123@gmail.com,Kathmandu,17735356563,Ram delivers food.
Формат JSON:
{
"peopleRecords": [
{
"name": "Sima",
"email": "simathapa111@gmail.com",
"address": "Nadipur",
"phone": "14151234567",
"profile": "She is a developer, researcher and food-lover."
},
{
"name": "Gita",
"email": "geeta12@outlook.com",
"address": "Pokhara",
"phone": "(415) 123-4567",
"profile": "Geeta is a teacher, she loves to play and dance."
},
{
"name": "Ram",
"email": "ram123@gmail.com",
"address": "Kathmandu",
"phone": "17735356563",
"profile": "Ram delivers food."
}
]}
Модель:
from django.db import models
# Create your models here.
from phonenumber_field.modelfields import PhoneNumberField
class Profile(models.Model):
name = models.CharField(max_length=150)
email = models.EmailField(blank=True)
address = models.CharField(max_length=50)
phone = models.CharField(max_length=150,unique=True)
profile = models.TextField()
def __str__(self):
return self.name
Admin:
from django.contrib import admin
# Register your models here.
from .models import Profile
admin.site.register(Profile)
Вид:
import csv, io
from django.shortcuts import render
from django.contrib import messages
# Create your views here.
# one parameter named request
def profile_upload(request):
# declaring template
template = "profile_upload.html"
data = Profile.objects.all()
# prompt is a context variable that can have different values depending on their context
prompt = {
'order': 'Order of the CSV should be name, email, address, phone, profile',
'profiles': data
}
# GET request returns the value of the data with the specified key.
if request.method == "GET":
return render(request, template, prompt)
csv_file = request.FILES['file']
# let's check if it is a csv file
if not csv_file.name.endswith('.csv'):
messages.error(request, 'THIS IS NOT A CSV FILE')
data_set = csv_file.read().decode('UTF-8')
# setup a stream which is when we loop through each line we are able to handle a data in a stream
io_string = io.StringIO(data_set)
next(io_string)
for column in csv.reader(io_string, delimiter=',', quotechar="|"):
_, created = Profile.objects.update_or_create(
name=column[0],
email=column[1],
address=column[2],
phone=column[3],
profile=column[4]
)
context = {}
return render(request, template, context)
Шаблон:
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
</head>
<body>
{% if messages %}
{% for message in messages %}
<div>
<!-- | means OR operator-->
<strong>{{message|safe}}</strong>
</div>
{% endfor %}
{% else %}
{{order}}
<form action="" method="POST" enctype="multipart/form-data">
{% csrf_token %}
<label for="file1"> Upload a file</label>
<input type="file" id="file1" name="file">
<small>Only accepts CSV files</small>
<button type="submit">Upload</button>
</form>
{% endif %}
{% for profile in profiles %}
{{profile.name}}
{% endfor %}
</body>
</html>
URL:
from django.contrib import admin
from django.urls import path
from django.conf import settings
from django.conf.urls.static import static
from csvfile.views import profile_upload
urlpatterns = [
path('admin/', admin.site.urls),
path('upload-csv/', profile_upload, name="profile_upload"),
]
Да, вы можете поместить информацию в json, не сохраняя ее в базе данных. Но в любом случае вы должны сохранить файл csv и затем работать с этим файлом. После сохранения файла вы можете сделать то же самое с помощью аналогичного куска кода, приведенного ниже:
csv_file = open("csv_file.csv")
csv_file.readline() # To cross the first line.
data = []
for line in csv_file:
name, email, address, phone, profile = line.split(",")
data.append({
"name": name,
"email": email,
"address": address,
"phone": phone,
"profile": profile
})
# return data ...