Closed Ssunbell closed 1 year ago
원본 텍스트가 토크나이저의 최대 길이인 512를 넘어버리는 데이터가 존재함.
stride를 이용해 512중에서 128의 길이만큼 중첩시켜 하나의 데이터를 여러 개의 데이터로 쪼갠 뒤에 모델에 넣어줌
문제점
원본 텍스트가 토크나이저의 최대 길이인 512를 넘어버리는 데이터가 존재함.
train
val
test
해결법
stride를 이용해 512중에서 128의 길이만큼 중첩시켜 하나의 데이터를 여러 개의 데이터로 쪼갠 뒤에 모델에 넣어줌