Частный/офлайн чатбот LLM на обученных данных
Я создал проект Django с одной моделью. И из портала администратора я буду добавлять вопросы и ответы, которые вставляют данные в БД postgres.
Сейчас я пытаюсь создать LLM-чатбота для задавания вопросов и ответов на основе данных Postgres. Пользователь должен иметь возможность задавать вопросы, а чатбот должен отвечать, основываясь на данных БД.
И я хочу сделать это с помощью любой частной/офлайн модели LLM, чтобы закрепить ее. Я вижу, что этого можно добиться с помощью Llama, Hugging face. Но не могу найти ни одного подходящего документа/ссылки для реализации этого.
Я новичок
в этом деле. Может ли кто-нибудь помочь поделиться ссылками или какими-либо предложениями по этому поводу?