Как добавлять не более 1 записи в таблицу если есть дубликаты Django pandas

Есть парсер который берет данные из CSV и добавляет их в модели django

В CSV есть много дубликатов, как добавить только 1 запись и остальные пропустить если они такие же?

Сам парсер:

def get_vehicle_brand():
    tmp_data = pd.read_csv('C:/Users/Sirius_McLine/PycharmProjects/BrixoDoc/ImportCSV/vehicles.csv', sep=';')
    vehicle_brand = [
        VehicleBrands(
            Name=tmp_data.loc[row]['VEH_BRAND']
        )
        for row in tmp_data.index
    ]
    VehicleBrands.objects.bulk_create(vehicle_brand)
    print('------add VEHICLE BRAND--------')

CSV:

VEH_TYPE_NO;VEH_MODEL_NO;VEH_BRAND
1052;14669;ABARTH
1053;14669;ABARTH
1054;14670;ABARTH
1060;14673;ABARTH
2589;14674;ABARTH
2589;14674;NISSAN
2589;14674;NISSAN
2589;14674;MERCE

И вот тут видно что в столбце VEH_BRAND много одинакового, как не пропускать одинаковые записи?

воспользуйтесь методом drop_duplicates по определенному столбцу:

import pandas as pd

df = pd.read_csv("your.csv", sep=";").drop_duplicates(["VEH_BRAND"])
print(df)

   VEH_TYPE_NO  VEH_MODEL_NO VEH_BRAND
0         1052         14669    ABARTH
5         2589         14674    NISSAN
7         2589         14674     MERCE
Вернуться на верх