데이터셋 배치를 iter를 이용하는 방법 밖엔 없나요?

[dhsimpson]

Informations

CLI

• OS (Mac, Windows, Linux, etc) and version:
• client version(please show nsml --version):

WEB

• Brower (chrome, firfox, etc):
• URL:

What is your login ID?

Question

torchText를 이용해 데이터셋을 서버에서 가져오고 있는 것 같은데요.. 데이터셋 전체를 한 번에 쿼리할 순 없나요?

[kingheadcat]

data.py 에서 DATASET_PATH 에 있는 train set을 불러옵니다. 파일의 포멧은 각 line마다 json 형태로 들어있는데요 해당 코드 수정해서 원하시는대로 사용하시면 됩니다. 데이터가 많지 않아서, 편하신 방법대로 사용하셔도 크게 빨라지거나/느려지지는 않을 것 같습니다.

{"syllable_contents": [3, 1519, 57, 54, 317, 317, 4], "eval_reply": 0}
{"syllable_contents": [3, 91, 218, 36, 2, 265, 28, 42, 2, 91, 62, 31, 2, 82, 280, 261, 173, 45, 394, 612, 23, 41, 46, 63, 236, 30, 2, 324, 5, 18, 54, 29, 4], "eval_reply": 1}
...