Make sample dataset

[dajinstory]

• crawling by python
• divide by wine name
• make bounding box

[dajinstory]

20191204(수)

git branch practice

[JungJaeLee-JJ]

20191207(토) make data set을 하면서 발생한 문제점.

1. 와인의 이름이 프랑스어나, 이탈리아어로 되어있을때, 파이썬 내에서는 utf-8로 괜찮지만, 대표적인 크롤링에 필요한 라이브러리중 request에서 "UnicodeEncodeError: 'ascii' codec can't encode character '\xe2' in position 49: ordinal not in range(128)" 라는 에러발생 -> 해당 라이브러리 사용안하고 셀레니움으로 크롤링 시작
2. 셀레니움으로 구글 크롤링 진행하였을때 와인별 사진의 갯수가 너무적다. 구글에서 크롤링한 결과중 상이한 이미지 제거 -> 10개 종류의 와인에 대하여 170~200장 정도의 사진 추출.
3. 크롤링 시간의 단축필요 -> 1개와인에 대하여 구글 이미지검색으로 500번의 try를 시도하고 이미지가 저장되기 까지에 대략 10분정도 소요하였음. 하루에 대략 100개의 와인밖에 시도못함.

[dajinstory]

20191211(수)

• 전체 서비스 구상도 픽스

  • server_for_service ubuntu18.04. aws ec2. no gpu.
  • server_for_DL laptops(tf with cpu), dajin's desktop(tf with gpu), AI lab server(tf with gpu)
  • DeepLearning library tensorflow + keras. latest version.
  • Web Framework Flask + python

• image labeling 툴 환경설정 및 테스트

  • labelImg window + conda + https://github.com/tzutalin/labelImg

• DeepLearning model 구성 아래 두개중에 고민중..

  1. adjust Triplet_loss function to Faster RCNN
  2. use two models.
     • selective search or yolo to get objects
     • simple CNN model with triplet loss

[dajinstory]

20191212(목)

전체구상도 및 툴 관련 내용은 feature/#2에 작성하도록 하겠습니다

[JungJaeLee-JJ]

20191217(화) make bounding box 관련 이슈 현재 크롤링된 이미지파일의 확장자가 png,jpg,jpeg로 다양한데, image labeling에서 특정이미지가 다음과 같은 오류가 발생

Traceback (most recent call last): File "labelImg.py", line 1300, in saveFile else self.saveFileDialog(removeExt=False)) File "labelImg.py", line 1325, in _saveFile if annotationFilePath and self.saveLabels(annotationFilePath): File "labelImg.py", line 802, in saveLabels self.lineColor.getRgb(), self.fillColor.getRgb()) File "C:\Users\tjems\Desktop\wine\total\labelImg-master\labelImg-master\libs\labelFile.py", line 83, in saveYoloFormat writer.save(targetFile=filename, classList=classList) File "C:\Users\tjems\Desktop\wine\total\labelImg-master\labelImg-master\libs\yolo_io.py", line 70, in save classIndex, xcen, ycen, w, h = self.BndBox2YoloLine(box, classList) File "C:\Users\tjems\Desktop\wine\total\labelImg-master\labelImg-master\libs\yolo_io.py", line 37, in BndBox2YoloLine xcen = float((xmin + xmax)) / 2 / self.imgSize[1] ZeroDivisionError: float division by zero

labelImg 이슈를 참고한 결과 이미지 확장자에 따라 발생하는 문제로 보임