Команда Kaggle Dataset возвращает неверные данные
Здравствуйте ребята, пожалуйста, я пытаюсь загрузить набор данных с kaggle через мое приложение django. В моих утилитах у меня есть такой код:
def search_kaggle(search_term):
search_results = os.popen("kaggle datasets list -s "+search_term).read().splitlines()
return search_results
В моей функции представления у меня есть следующее:
def search_dataset(request):
context = {
}
print('search dataset reached')
if request.method == "POST":
searchkey = request.POST["searchkey"]
dtsite = request.POST["dtsite"]
dtsnum = request.POST["dtsnum"]
if searchkey != "":
if dtsite == "kaggle":
results = search_kaggle(dtsite)
context['results'] = results
print("Kaggle reached")
if dtsite == "datagov":
print("datagov")
if dtsite == "uci":
print("UCI")
if dtsite == "googlepd":
print("googlepd")
else:
messages.error(request, " You must select a search keyword!")
return render(request, 'datasetsearch/dataset_results.html', context)
Когда я запускаю код, он действительно возвращает некоторые данные из kaggle, но эти данные полностью отличаются от того, что я получаю, когда запускаю ту же команду в CLI, используя:
kaggle datasets list -s 'fraud detection'
В приведенном выше коде search_term = 'fraud detection', поэтому я полагаю, что он должен вернуть ту же форму данных, но я получаю что-то другое. Результат командной строки - это правильный результат.
Посмотреть результат командной строки
ref title size lastUpdated downloadCount v
Смотрите результат работы скрипта python:
ref title size lastUpdated downloadCount voteCount usabilityRating
kaggle/meta-kaggle Meta Kaggle 6GB 2022-08-01 06:39:59 10828 653 0.7647059
kaggle/kaggle-survey-2018 2018 Kaggle Machine Learning & Data Science Survey 4MB 2018-11-03 22:35:07 17710 1008 0.85294116
kaggle/world-development-indicators Показатели мирового развития 369MB 2017-05-01 17:50:44 62053 1604 0.7647059
kaggle/kaggle-survey-2017 2017 Kaggle Machine Learning & Data Science Survey 4MB 2017-10-27 22:03:03 25672 854 0.8235294
kaggle/sf-salaries SF Salaries 11MB 2019-12-05 23:30:07 54209 713 0.7058824
alsgroup/end-als End ALS Kaggle Challenge 12GB 2021-04-08 12:16:37 1485 177 0.9375
kaggle/hillary-clinton-emails Электронная почта Хиллари Клинтон 12MB 2019-11-14 05:31:24 17379 288 0.7058824
kaggle/college-scorecard US Dept of Education: College Scorecard 562MB 2017-11-09 18:03:11 14214 214 0.7647059
kaggle/recipe-ingredients-dataset Recipe Ingredients Dataset 2MB 2017-01-19 02:55:45 11082 195 0.75
kaggle/reddit-comments-may-2015 May 2015 Reddit Comments 20GB 2019-06-04 10:06:44 9124 280 0.64705884
kaggle/us-baby-names US Baby Names 173MB 2017-11-21 22:18:15 29489 320 0.5882353
morriswongch/kaggle-datasets Kaggle Datasets 3MB 2018-12-02 03:50:47 1819 72 0.8235294
kaggle/us-consumer-finance-complaints Жалобы на потребительские финансы США 84MB 2019-11-14 05:52:29 17837 286 0.5882353
pavlofesenko/titanic-extended Titanic extended dataset (Kaggle + Wikipedia) 134KB 2019-03-06 09:53:24 9419 133 0.9411765
canggih/voted-kaggle-dataset Upvoted Kaggle Datasets 1MB 2018-02-26 10:10:34 1268 33 1.0
canggih/upvoted-kaggle-kernels Upvoted Kaggle Kernels 115KB 2018-02-26 16:52:28 207 27 1.0
jessevent/all-kaggle-datasets Complete Kaggle Datasets Collection 390KB 2018-01-16 12:32:58 2099 109 0.8235294
kaggle/no-data-sources No Data Sources 159B 2017-04-12 20:45:12 1144 139 0.4375
kaggle/kaggle-blog-winners-posts Блог Kaggle: Посты победителей 519KB 2016-09-21 02:21:21 766 43 0.7058824
kaggle/2015-notebook-ux-survey 2015 Notebook UX Survey 198KB 2017-05-01 17:56:25 1033 49 0.64705884
Вы передаете в вызов функции search_kaggle()
не термин поиска, а строку kaggle
через переменную dtsite
:
if dtsite == "kaggle":
results = search_kaggle(dtsite)
Измените это на:
if dtsite == "kaggle":
results = search_kaggle(searchkey)