[Data] 데이터셋 concat

[sodabeans]

What

ICDAR + camper 데이터 concat

Why

더 많은 데이터로 모델 학습

How

    train_dataset1 = SceneTextDataset(
        PATH_TO_DATASET1, # FIXME
        split="train", image_size=image_size, crop_size=input_size
    )
    train_dataset1 = EASTDataset(train_dataset1)

    train_dataset2 = SceneTextDataset(
        PATH_TO_DATASET2, # FIXME
        split="train", image_size=image_size, crop_size=input_size
    )
    train_dataset2 = EASTDataset(train_dataset2)
    concat_dataset = torch.utils.data.ConcatDataset([train_dataset1, train_dataset2])

    num_batches = math.ceil(len(concat_dataset) / batch_size)
    train_loader = DataLoader(
        concat_dataset, batch_size=batch_size, shuffle=True, num_workers=num_workers
    )

[sodabeans]

├── Dataset1
│ ├── image
│ └── ufo
└── Dataset2
  ├── image
  └── ufo

이렇게 데이터셋 디렉토리가 구성되어 있고, json 파일은 ufo 폴더 안에 있다.