search

junia3 / comments

0 stars 0 forks source link

blog/chatbotgpu #8

Open utterances-bot opened 8 months ago

utterances-bot commented 8 months ago

Welcome to JunYoung's blog | (LLama2) GPU에서 돌아가는 나만의 디스코드 챗봇 만들기

Discord bot, Chatting bot

https://junia3.github.io/blog/chatbotgpu

zer05um2017 commented 8 months ago

응답속도가 어떻게 될까요? CPU는 약 20초 정도 걸리는것 같던데요.

junia3 commented 8 months ago

직접 측정은 안해봤고 개인적으로 느낀 속도는 물론 프롬프트에 따라 다르지만 1-2초 정도에 응답이 되는 것으로 확인했습니다

zer05um2017 commented 8 months ago

네 답변 감사드립니다~

GiJeongCho commented 6 months ago

llama모델 gpu에서 돌아가나요..? 잘 안되네요 혹시 llama.cpp는 이용해보신 적없으신지요

junia3 commented 6 months ago

llama.cpp 모델도 사용해보았습니다 이전 글 참고해주시면 될 것 같아요..!