search

buddy-ai-team / buddy_language_backend

0 stars 0 forks source link

Защита чатбота от promt-injection #42

Open rodion-m opened 1 year ago

rodion-m commented 1 year ago

Related #6

rodion-m commented 1 year ago

В помощь: https://github.com/0xk1h0/ChatGPT_DAN (посмотрите на The ANTI-DAN Prompt)

И вот это: https://github.com/utkusen/promptmap

А также книга в тему (платная): https://utkusen.gumroad.com/l/securing-gpt-attack-defend-chatgpt-applications

rodion-m commented 1 year ago

@ultyyp есть подозрение, что технически оптимальнее всего будет проверять запросы на предмет инжекта вообще отдельной асинхронной задачей и не смешивать логику валидации промпта с бизнес логикой. То есть нужен просто отдельный промпт, которые будет проверять каждое последнее сообщение, отправленное пользователя на prompt-injection.