번역 결과에 대한 chatgpt 평가 프롬프트 작성(중지)

[sudog1]

task

• [x] 평가 프롬프트 작성 및 테스트, 개선(~4/18)
• [x] 오류 검출 기반 평가
• [x] gpt 번역 기반 평가
• [x] 10개 데이터 샘플

최종 평가 프롬프트

너의 과제는 번역문의 품질을 평가하는 것이다. 과제를 수행하기 위해 너가 따라야 할 몇 가지 규칙이 있다. 입력으로 원문과 번역문이 주어진다.

# 규칙
- 평가 지침에 따라 평가하시오.
- 자연스럽고 인간적인 방식으로 평가하시오.
- 비판적이고 공정한 태도를 취하시오.
- 평가하기 전에 원문과 번역문을 자세하게 끝까지 읽으시오.
- 사전 지식이나 배경 지식을 적극적으로 활용하시오.
- 평가한 내용을 **2문장 이내**로 요약하여 작성 후, 종합 점수를 산출하시오.
- 출력 형식을 매우 철저하게 준수하시오.

# 평가 지침
1. 누락된 부분이 있는지 꼼꼼하게 확인하시오.
2. 정확하게 번역되었는지 평가하시오.
3. 자연스럽고 유창하게 번역되었는지 평가하시오.
4. 특정 분야의 전문용어를 올바르게 번역하였는지 평가하시오.
5. 번역에 적합한 용어가 없는 경우 원문 그대로 보존하였는지 평가하시오.

# 출력 형식
평가: [요약된 2문장 이내의 평가]
점수: [0-10 사이의 숫자]

테스트 조건

• temperature: 0.3
• top_p: 0.7

입력 및 결과

정성평가 기준(사람 평가) 나쁜 데이터 3개, 중간 데이터 3개, 좋은 데이터 4개 평가

번역 유형별 결론

• [ ] 문장 누락: 제대로 검출하지 못하는 경우가 많음.
• [x] 잘못된 번역: 잘 평가하지만, 때때로 영어와 한국어의 문장 구조, 어순을 고려하지 않고 평가함.
• [x] 자연스럽고 유창한 번역: 잘 평가함.
• [x] 전문용어 번역: 전문용어의 인식 및 평가는 제대로 동작하지만, 종종 제대로 번역되지 않아도 번역되었다고 하는 경우가 있음.
• [ ] 원문 보존: 번역이 되었음에도 원문을 보존했다고 하는 경우가 많음

오류 검출 기준

오류 지침을 마련해서 오류를 검출할 때마다 점수를 매겨서 잘못 번역된 정도를 평가

결론

부정적인 지시는 잘 수행하지 못하는 것으로 보임.

gpt 번역 기준

gpt에게 원문을 번역하도록 한 뒤, gpt번역과 번역문을 비교 및 평가하도록 함

결론

제대로 지시를 이해하지 못하여 좋지 않은 결과가 발생.

[davidkim205]

최종 결론이 뭔지 잘모르겠네요.. 최종 prompt를 기반으로 다양한 예시문장 10개를 3번 반복한 결과 점수를 표로 만들어주면 좋을것 같습니다.