effectively find answer's start_idx and end_idx

boostcampaitech4lv23nlp1 / final-project-level3-nlp-03

Multi-Modal Model for DocVQA(Document Visual Question Answering)

3 stars 0 forks source link

Closed Ssunbell closed 1 year ago

Ssunbell commented 1 year ago

train 과정 전에 dataset.map(function)에 들어갈 전처리 function구현. answer의 (start_idx, end_idx)를 구해주는 함수임.
val 과정에서 val_loss와 metric을 적용하여 dataset.map(function)에 들어갈 전처리 function 구현. train과 동일
metric(ANLS) 함수 구현 및 재확인

hundredeuk2 commented 1 year ago

function은 어떤걸 정의한다는거야???

Ssunbell commented 1 year ago

우선 토크나이저로 토크나이징한 후에 토크나이징한 리스트가 있을텐데 그 리스트에서 정답이 포함되어있는 인덱스를 찾아내는 전처리코드를 정의하는거야 우리 MRC랑 비슷하게?