search

Naver-AI-Hackathon / AI-Vision

67 stars 34 forks source link

데이터셋을 이미지 포맷으로 로컬 컴퓨터에 다운로드 받아도 되나요? #33

Open tkwoo opened 5 years ago

tkwoo commented 5 years ago

데이터 분석을 하려면 당연히 다운로드 받아서 열어보고 감을 잡아야할텐데, 데이터 저작권 문제가 있을 것 같아 문의드립니다.

Hackoperation commented 5 years ago

데이터 저작권 이슈가 있어서 데이터를 공개하거나 NSML에서 로컬로 다운로드 받는 것이 불가능합니다.

다만, 이미지의 특성을 확인할 수 있도록 예선1라운드 학습데이터 중 10개의 클래스를 공개합니다. 공개 데이터는 실제 학습 데이터에 속하는 10개의 클래스이며, 각 클래스의 전체 이미지입니다.

아래 링크를 통해 다운로드 받으실 수 있습니다.

tkwoo commented 5 years ago

예상은 했지만 조금 당황스럽습니다.

컴퓨터비전 정의를 보면 이렇게 나옵니다. Computer vision is an interdisciplinary scientific field that deals with how computers can be made to gain high-level understanding from digital images or videos. From the perspective of engineering, it seeks to automate tasks that the human visual system can do. (출처: 위키피디아)

인용문 처럼 높은 수준의 이해와 사람의 시각 시스템을 따라 만드는 것이 컴퓨터비전인데 데이터를 볼 수 없는 상황에서 어떤 직관을 가지고 엔지니어링을 해야할지 답답하네요.

마치 장님 코끼리 만지기 같은 느낌을 받습니다. 눈을 가리고 시각 시스템을 구현해야 하는거죠.. classfication 입장으로 보면 예선 1차가 few shot learning 이 될 수 밖에 없고 다른 방법을 도입할 수 밖에 없다는 생각이 드는데 떠오르는 여러 방법들이 있지만 데이터를 모르니 하나씩 다 시도해 볼 수 밖에 없네요 ㅠ

되도록이면 데이터를 공개해주셨으면 하는데, 다른 분들 의견은 어떠신지도 궁금하고 다른 대회나 실무에서도 이런 환경에서 작업할 일이 있는지 궁금합니다.

NSML 웹 파일 시스템 상에서 썸네일이라도 제공(view)해주시면 좋겠습니다.

Hackoperation commented 5 years ago

좋은 의견 감사합니다.

위에서 언급했듯이 저작권 이슈가 존재하여 데이터를 공개하거나, 썸네일 형태로 제공하는 것은 불가능합니다. 하지만 말씀하신 것처럼 컴퓨터비전 문제에서는 데이터를 눈으로 확인하는 과정이 중요합니다.

따라서, 기존에 예선 1차 데이터 중 한 개 클래스의 일부 이미지만 공개하였던 것을 10개 클래스의 전체 이미지로 변경하여 새로 공유드립니다. (README 혹은 위 답변에서 받으실 수 있습니다.) 또한, [데이터셋 구조] 를 확인하시면 학습 및 테스트 데이터의 directory 구조를 확인하실 수 있습니다. 학습 데이터의 모든 이미지들이 레이블을 가지고 있기 때문에, 이를 이용하여 충분히 모델을 학습할 수 있습니다.

실무에 있어서도 방대한 데이터를 모두 눈으로 확인하기 어려울 때가 많아, 일부 데이터만 눈으로 확인 후, 이를 기준으로 모델을 학습하는 경우가 종종 있습니다. 본 미션도 공개된 힌트를 기반으로 충분히 좋은 모델을 만들 수 있을거라 생각합니다.

감사합니다.