Усеченные или длинные заголовки ответа, полученные от процесса демона - ошибка для больших файлов - django

Концепция такова:

Пользователь загрузит два файла, программа сравнит два файла excel на предмет совпадения. Она будет сравнивать на основе столбца суммы. Я использую pandas и numpy для достижения этой цели

File1:

enter image description here

File2:

enter image description here

  1. Program will create intermediate matched dataframe, it will contain indices of both dataframe, the matched dataframe will look like below:

enter image description here

  1. Then I am merging df1 and df2 with the help of above matched dataframe, after merge, it will look like below:

enter image description here

Утверждение проблемы: Я использую AWS t2.micro, когда я использую небольшие файлы, все работает нормально, программа создает объединенный датафрейм без каких-либо ошибок, но когда я использую файлы с 40000 записей каждый, pandas может создать сопоставленный датафрейм, но не создает объединенный датафрейм. т.е. он может выполнить первый шаг, после первого шага, он бросает мне эту ошибку Truncated error.

Я думаю, не возникает ли эта ошибка из-за недостатка памяти RAM. Причина такого вывода в том, что 40000 записей создадут около 5lakhs записей в сопоставленном датафрейме, занимают ли эти 5lakhs все пространство памяти. (1GB RAM в t2.micro)

У меня есть WSGIApplicationGroup %{GLOBAL} в настройках apache, так что это не проблема, а также я использую psgcopg2, а не psgcopy2-binary, так что это тоже не проблема. Так в чем же может быть проблема этой ошибки? Тот же код, ошибка возникает для больших файлов

Заранее спасибо. пожалуйста, предоставьте ваши предложения или решения

Вернуться на верх