Open jieun-lim opened 2 months ago
대충 이정도 리스트업 해보았습니다.
Title : Corab Pro+지원 내용
## 확인해야 할 점
{
"input": "훈련 장려금은 얼마야?",
"status_code": 200,
"response_text": "죄송하지만, 현재 훈련 장려금에 대한 정확한 금액 정보를 가지고 있지 않습니다.
}
{
"input": "카카오 클라우드 교육 채널에 어떻게 로그인해?",
"status_code": 200,
"response_text": "카카오 클라우드 교육 채널에 로그인하려면 아래 단계를 따라주세요:\n\n1. 제공된 링크로 접속합니다. (링크는 안내 메시지에 포함되어 있을 것입니다.)\n2. 본인의 카카오 계정으로 로그인합니다.\n\n로그인이 잘 되는지 확인해주시고, 만약 로그인이 안 되는 경우에는 스레드에 메시지를 남겨주시면 내일 오전까지 일괄 확인해드린다고 합니다. \n\n추가적인 도움이 필요하시면 다시 문의해주세요!"
}
0819 RAG_eval() 함수 수행 결과
문제점
Example 0:
Question: What is the purpose of the 카카오 계정 등록 안내 section in the document titled "카카오 클라우드 교육 채널 로그인 안내"?
Real Answer: The purpose of the 카카오 계정 등록 안내 section is to inform users that the Kakao account they submitted has been registered with the Kakao Cloud Education Channel.
Predicted Answer: The purpose of the "카카오 계정 등록 안내" section in the document titled "카카오 클라우드 교육 채널 로그인 안내" is to inform users that their submitted Kakao account has been registered with the Kakao Cloud Education Channel.
Predicted Grade: CORRECT
----------
Example 1:
Question: 카카오 클라우드 교육 채널에 등록된 계정으로 로그인을 하려면 어떤 링크를 사용해야 하나요?
Real Answer: [카카오테크 부트캠프 바로가기](https://krampoline.kakao.com/) 링크를 사용해야 합니다.
Predicted Answer: 안녕하세요, 제공된 정보에 따르면 특정 링크가 언급되어 있지 않습니다. 해당 링크는 원래 메시지에 포함되어 있어야 합니다. 메시지를 다시 확인해 보시거나, 교육 담당자에게 문의하여 정확한 링크를 받아보시기 바랍니다.
Predicted Grade: GRADE: INCORRECT
----------
Example 2:
Question: 카카오테크 부트캠프에 로그인하는 방법을 설명하시오.
Real Answer: 제공된 [카카오테크 부트캠프 바로가기](https://krampoline.kakao.com/) 링크로 접속하여 본인의 카카오 계정으로 로그인합니다.
Predicted Answer: 카카오테크 부트캠프에 로그인하는 방법은 다음과 같습니다:
만약 로그인이 안 되는 경우, 스레드에 메시지를 남기면 내일 오전까지 일괄 확인해드린다고 하니 참고하시기 바랍니다. Predicted Grade: GRADE: CORRECT
Example 9: Question: 지원 신청의 기한과 방법은 무엇인가요? Real Answer: 지원 신청의 기한은 2024년 8월 6일(화) 오후 3시까지이며, 신청 방법은 아래 제공된 구글폼 링크를 통해 구독료 지원 신청서를 제출하는 것입니다. Predicted Answer: 죄송합니다만, 제공된 정보에는 지원 신청의 기한과 방법에 대한 내용이 포함되어 있지 않습니다. 추가적인 정보를 확인해 보시거나 관련 부서에 문의해 보시는 것이 좋겠습니다. Predicted Grade: INCORRECT
The student's answer does not provide the specific details about the application deadline and method, which are clearly stated in the true answer.
성능 테스트 코드 짜보기
RAG 모델 향상
{ "카카오 부트캠프의 상세 주소를 알려주세요.": "카카오 부트캠프의 상세 주소는 다음과 같습니다:
경기도 성남시 분당구 판교역로 235 에이치스퀘어 N동 8층
추가적인 정보나 문의사항이 있으시면 카카오 부트캠프 공식 웹사이트를 참고하시기 바랍니다." , "카카오 부트캠프에 주차 지원이 되나요?": "카카오 부트캠프에서는 주차 지원이 제공되지 않습니다. 대중교통을 이용하거나 인근 유료 주차장을 이용해야 합니다. 부트캠프에 참여하기 전에 교통편을 미리 계획하는 것이 좋습니다." , "카카오 부트캠프에서 제공되는 교육 내용은 무엇인가요?": "카카오 부트캠프에서 제공되는 교육 내용은 카카오 클라우드 및 생성형 AI, 크램폴린 IDE에 대한 이론 강의 및 실습입니다." , "카카오 부트캠프에서 출석 인정 기준은 무엇인가요?": "카카오 부트캠프에서 출석 인정 기준은 다음과 같습니다: 1. 사설 대회 참여로 인한 출석 인정은 대회 참석 후 바로 채용으로 이어지는 경우에만 가능합니다. 이 경우 소요된 일수만큼 출석이 인정됩니다. 2. 이후채용의 이유로 수업 참석이 어려울 경우 중도포기 처리됩니다. 3. 졸업식, 국민취업지원제도 상담 등 위에 기재되지 않은 사유는 출석 인정이 불가합니다. 따라서 출석 인정이 가능한 경우는 매우 제한적이며, 주로 채용과 직접적으로관련된 경우에만 인정됩니다." , "카카오 부트캠프의 교육 시간표를 알고 싶어요.": "카카오 부트캠프의 교육 시간표는 다음과 같습니다: - 기간: 8/6(화) - 8/13(화) (6일) - 시간: 09:00 - 18:00 교육은 온라인(Zoom 강의실)과 오프라인(판교 카카오테크 부트캠프)에서 진행됩니다. 주제는 카카오 클라우드 및 생성형 AI,크램폴린 IDE이며, 이론 강의 및 실습으로 구성되어 있습니다." , "인프런 강의 신청 방법을 알려주세요.": "인프런 강의를 신청하는 방법은 다음과 같습니다: 1. 인프런 계정 로그인: 먼저, 인프런 웹사이트에 접속하여 제출한 인프런 계정으로 로그인합니다. 2. 강의 검색: 원하는 강의를 검색합니다. 인프런의 검색 기능을 사용하여 관심 있는주제나 강의를 찾아보세요. 3. 강의 선택: 수강하고자 하는 강의를 선택합니다. 강의 페이지에서 강의 내용을 확인하고, 수강 신청을 결정합니다. 4. 수강 신청: 강의 페이지에서 '수강 신청' 버튼을 클릭합니다. 부여된 크레딧을 사용하여강의를 신청할 수 있습니다. 5. 크레딧 사용 확인: 수강 신청 시 부여된 크레딧이 사용되는지 확인합니다. 개인 비용을 추가하여 강의를 구매할 수는 없으므로, 크레딧 내에서 강의를 선택해야 합니다. 이 과정을 통해인프런 강의를 신청할 수 있습니다. 추가로 궁금한 사항이 있으면 언제든지 문의해 주세요." , "인프런 크레딧 지원에 대해 설명해주세요.": "인프런 크레딧은 인프런에서 제공하는 강의를 수강할 때 사용할 수 있는 포인트 시스템입니다. 크레딧을 사용하면 강의를 할인된 가격에 수강할 수 있습니다. 인프런 크레딧은 다양한 방법으로 획득할 수 있습니다.
크레딧은 인프런 웹사이트나 모바일 앱에서 확인할 수 있으며, 강의 결제 시 사용할 수 있습니다. 크레딧의 유효기간이 있을 수 있으므로, 사용 기한을 확인하는 것이 좋습니다." , "인프런 강의 수강 시 할인 혜택이 있나요?": "네, 인프런에서는 다양한 할인 혜택을 제공하고 있습니다. 주기적으로 진행되는 할인 이벤트나 프로모션 코드를 통해 강의를 할인된 가격에 수강할 수 있습니다. 또한, 특정 기간 동안 진행되는 특별 할인 행사나 시즌별 할인도 있으니 인프런 웹사이트나 뉴스레터를 통해 최신 정보를 확인해 보세요." , "인프런 강의 신청 기간은 언제인가요?": "인프런은 특정한 강의 신청 기간이 정해져 있지 않습니다. 대부분의 강의는 언제든지 신청할 수 있으며, 결제 후 바로 수강이 가능합니다. 다만, 일부 특별 강의나 이벤트 강의는 신청 기간이 정해져 있을 수 있으니, 해당 강의의 상세 페이지를 확인하는 것이 좋습니다." , "인프런 강의 신청에 제한이 있나요?": "인프런에서는 대부분의 강의에 대해 신청 제한이 없습니다. 원하는 강의를 자유롭게 선택하고 신청할 수 있습니다. 다만, 일부 특정 강의나 이벤트 강의의 경우 제한이 있을 수 있으니, 해당 강의의 상세 페이지를 확인하는 것이 좋습니다. 또한, 유료 강의의 경우 결제가 필요하며, 결제 후에 강의를 수강할 수 있습니다." , "클라우드 과정 자격증 지원 내용은 무엇인가요?": "클라우드 과정 자격증 지원 내용은 AWS, CK, A, CKAD, CKS, KCNA 등의 자격증을 포함합니다. 그 외 교육 과정과 연관이 있다고 판단되는 자격증의 경우에도 추가 지원이 가능합니다. 자세한 내용은 지원을 희망하는자격증 정보(명칭, 응시 정보, 비용 등)를 각 회차 별 게시판을 통해 교육 운영 관리자에게 문의해주시기 바랍니다." , "응시료 지원을 위한 제출 서류는 무엇인가요?": "응시료 지원을 위한 제출 서류는 병원방문 날짜와 병원직인이 포함된 서류를 제출해 주셔야 합니다. 간이 진단서 및 처방전만 제출 시 적용이 불가합니다. 대학병원 진료의 경우 진료확인서 대신 영수증 제출이 가능합니다. 다만,치과 진료 및 피부과 시술 진료는 적용이 불가합니다." , "자격증 응시료 지원 신청 방법을 알려주세요.": "자격증 응시료 지원 신청 방법은 다음과 같습니다:
지원 자격 확인: 먼저, 자격증 응시료 지원을 받을 수 있는 자격이 있는지 확인해야 합니다. 이는 각 기관이나 단체마다 다를 수 있으므로, 해당 기관의 홈페이지나 안내문을 참고하세요.
필요 서류 준비: 일반적으로 필요한 서류는 다음과 같습니다.
신청서 작성: 해당 기관의 홈페이지에서 지원 신청서를 다운로드하여 작성합니다. 작성 시 필요한 정보를 정확히 기입해야 합니다.
서류 제출: 준비한 서류를 해당 기관에 제출합니다. 제출 방법은 우편, 이메일, 온라인 제출 등 다양할 수 있으니, 해당 기관의 안내에 따라 제출하세요.
결과 확인: 서류 제출 후, 지원 신청 결과를 확인합니다. 이는 보통 이메일이나 문자 메시지로 통보됩니다.
지원금 수령: 지원 신청이 승인되면, 지정된 계좌로 지원금이 입금됩니다. 입금 시기를 확인하고, 문제가 있을 경우 해당 기관에 문의하세요.
각 기관마다 절차가 다를 수 있으므로, 정확한 정보는 해당 기관의 공식 홈페이지나 고객센터를 통해 확인하는 것이 좋습니다." , "응시료 지원 대상 자격증 목록을 알려주세요.": "응시료 지원 대상 자격증 목록은 기관이나 프로그램에 따라 다를 수 있습니다. 일반적으로 정부나 지방자치단체, 교육기관에서 지원하는 경우가 많습니다. 예를 들어, 한국의 경우 고용노동부나 지방자치단체에서 특정 자격증에 대해 응시료를 지원하는 프로그램이 있습니다. 대표적인 자격증으로는 다음과 같은 것들이 있습니다:
각 기관의 지원 정책에 따라 다를 수 있으므로, 해당 기관의 공식 웹사이트나 공지사항을 참고하는 것이 좋습니다." , "응시료 지원 신청 기한은 언제인가요?": "응시료 지원 신청 기한은 각 시험이나 프로그램에 따라 다를 수 있습니다. 일반적으로 해당 기관의 공식 웹사이트나 공지사항을 통해 확인할 수 있습니다. 특정 시험이나 프로그램에 대한 정보를 알고 계시면, 더 정확한 답변을 드릴 수 있습니다." , "사원증 배부 일정이 어떻게 되나요?": "사원증 배부 일정은 회사마다 다를 수 있습니다. 일반적으로는 다음과 같은 절차를 따릅니다:
정확한 일정은 인사팀이나 해당 부서에 문의하는 것이 가장 좋습니다. 회사 내부 공지나 이메일을 통해 안내받을 수도 있습니다." , "사원증 배부 장소는 어디인가요?": "사원증 배부 장소는 보통 인사부서나 총무부서에서 담당합니다. 회사마다 다를 수 있으니, 정확한 위치는 회사 내부 공지나 인사부서에 문의해 보시는 것이 좋습니다." , "사원증으로 출입이 가능한 시점은 언제인가요?": "사원증으로 출입이 가능한 시점은 회사마다 다를 수 있습니다. 일반적으로는 회사의 운영 시간 동안 출입이 가능하며, 일부 회사는 24시간 출입이 가능하도록 설정하기도 합니다. 정확한 출입 가능 시간은 회사의 보안 정책이나 규정에 따라 다를 수 있으므로, 회사의 인사팀이나 보안팀에 문의하는 것이 좋습니다." }
주소를 옆건물로 알려주네요?????? 이 부분 체크해보겠습니다 test_results_20240827_212529.json
요청 사항
ELSE - RAG에서 정보를 찾지 못하고 일반 GPT 답변을 한 항목
RAG를 통해 PDF에서 정보를 얻어서 답변을 한 항목
RAG를 했으나 미흡하거나 정확하지 않은 답변
그런데 제가 수정된 data를 활용하지 않은 듯한 결과네요? ㅜ 이상하다아~~
pdf : ktb_data_08.pdf result json : test_results_3.json input json : user_inputs3.json
흠 그냥 finetuning 을 하는게 나을까요? 질문에 너무 대답을 잘 못하는 것 같긴 하네요 ㅠㅠ
근데 궁금한 점이 있는데,
pdf에 마크 다운 문법은 왜 사용하신 건지 여쭤봐도 될까요?
테스트 코드 짜신 거 공유 가능할까요?
current status
PDF에서 카카오 부캠 정보를 적절히 검색 못함
Expected behavior
PDF에 주어진 정보들에 대해서 카카오 부캠 정보를 적절히 검색 해야함
Solution
참고 사이트: https://wikidocs.net/231364 앤드류응 강의