search

kmu-leeky / crc-research

0 stars 1 forks source link

Image annotator 시스템 구축 #2

Closed kmu-leeky closed 6 years ago

kmu-leeky commented 6 years ago

로컬 환경에서 임의의 사진을 가지고 특정 부위를 캡춰 후 결과물은 S3 에 저장하는 시스템 구현

kmu-leeky commented 6 years ago

image annotator 시스템들 https://en.wikipedia.org/wiki/List_of_manual_image_annotation_tools

kmu-leeky commented 6 years ago

라이센스를 고려했을때 아래가 좋을듯 https://annotorious.github.io/index.html

kmu-leeky commented 6 years ago

다른 옵션 http://labelme2.csail.mit.edu/Release3.0/index.php

kmu-leeky commented 6 years ago

시스템 구축완료? 아니면 다른 더 세부적인 이슈에서 트래킹?

oryondark commented 6 years ago

아 개발 과정을 정리하던 중 이였습니다. 깃허브 이슈트래킹에 작성하려다가 개인적으로 정리하던 것인데 송신되었나봅니다.

구축은 내일 중으로 될 것 같습니다. -----Original Message----- From: "Kyungyong Lee"notifications@github.com To: "kmu-leeky/crc-research"crc-research@noreply.github.com; Cc: "oryondark"4u_olion@naver.com; "State change"state_change@noreply.github.com; Sent: 2018-04-05 (목) 21:53:50 Subject: Re: [kmu-leeky/crc-research] Image annotator 시스템 구축 (#2)

시스템 구축완료? 아니면 다른 더 세부적인 이슈에서 트래킹? — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub, or mute the thread.

kmu-leeky commented 6 years ago

OK.

가능하면 설치 과정이나 설치중에 발생했던 문제점등이 있다면 같이 정리해주면 좋을듯

oryondark commented 6 years ago

네~ 혹시 설치 과정이나 개발 과정 등을 문서화하면서 교수님(진행 중인 프로젝트) 깃헙이나, 또는 원빈형도 나중에 보고 같이 검토할 수 있도록 슬랙 올리도록 정리 후 업로드하는 습관도 좋을까요? -----Original Message----- From: "Kyungyong Lee"notifications@github.com To: "kmu-leeky/crc-research"crc-research@noreply.github.com; Cc: "oryondark"4u_olion@naver.com; "State change"state_change@noreply.github.com; Sent: 2018-04-05 (목) 23:15:19 Subject: Re: [kmu-leeky/crc-research] Image annotator 시스템 구축 (#2)

OK. 가능하면 설치 과정이나 설치중에 발생했던 문제점등이 있다면 같이 정리해주면 좋을듯 — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub, or mute the thread.

oryondark commented 6 years ago

아 교수님께서 권장하셨던 구글문서로 작성하면 공유가 쉬운 부분이 있네요.

해당 문서에 작성 후 차후 빨리 공유하겠습니다.

감사합니다! -----Original Message----- From: "Kyungyong Lee"notifications@github.com To: "kmu-leeky/crc-research"crc-research@noreply.github.com; Cc: "oryondark"4u_olion@naver.com; "State change"state_change@noreply.github.com; Sent: 2018-04-05 (목) 23:15:19 Subject: Re: [kmu-leeky/crc-research] Image annotator 시스템 구축 (#2)

OK. 가능하면 설치 과정이나 설치중에 발생했던 문제점등이 있다면 같이 정리해주면 좋을듯 — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub, or mute the thread.

kmu-leeky commented 6 years ago

응 정리는 구글 문서에 해주는것도 좋고, 아니면 어짜피 니가 가져갈 포트폴리오니까 시간이 걸리더라도 블로그등에 정리해줘도 좋고.

정리가 되고나면, 이슈에다가 나중에 트래킹 가능하도록 링크 하나 남겨두면 좋을듯.

kmu-leeky commented 6 years ago

원래 이슈는 작업이 완료가 되고 모든 파일들이 정리가 되고 나면 close 하는데. close 하는 이유가?

oryondark commented 6 years ago

깃헙의 이슈트래킹이 아직 미숙해서 잘못 작성하고 있습니다... 조심하도록 하겠습니다. -----Original Message----- From: "Kyungyong Lee"notifications@github.com To: "kmu-leeky/crc-research"crc-research@noreply.github.com; Cc: "oryondark"4u_olion@naver.com; "State change"state_change@noreply.github.com; Sent: 2018-04-06 (금) 10:48:11 Subject: Re: [kmu-leeky/crc-research] Image annotator 시스템 구축 (#2)

원래 이슈는 작업이 완료가 되고 모든 파일들이 정리가 되고 나면 close 하는데. close 하는 이유가? — You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub, or mute the thread.

kmu-leeky commented 6 years ago

괜찮아. 이 이슈를 오픈해둘테니 수시로 확인하면서 진도 나가는거 업데이트 부탁.

oryondark commented 6 years ago

Image Annotation의 경우 로컬환경이 gui일 때 image tagging을 할 수 있다는 이슈가 있습니다.

2018.04.05 본 과제를 해결하기 위한 방안을 모색 하였으며, 아래와 같습니다.

  1. labelme의 경우 web base 형식이기 때문에 클라이언트 자원을 통해 캡쳐링된 이미지를 서버에 저장할 수 있도록 구현하고자 합니다.

  2. S3 서비스 저장을 위해 Java와 Python 중 Python Boto3 Library를 이용해보려고 합니다. 가장 먼저 S3 업로드를 구현할 것 이며, 시스템 구축에 핵심이라 생각하고 있습니다. 해당 부분이 완료된 후 결과에 따라 Java로 변환도 하려고 합니다.

    2018.04.06 이슈

  3. 교내 네트워크가 여전히 AWS 인스턴스로 접속이 불가능합니다. (error :: 정보는 호스트를 찾을 수 없다고 합니다. 호스트 정보를 받아오지 못 한 부분으로 보이는데, 전산팀에 연락해봐야할까요??)

  4. 먼저 S3 업로드 기능만 구현된 부분을 작업 중 입니다. (핵심 기능 우선 구현을 진행 중)

  5. 웹서버는 Docker Container에 제가 직접 간단하게 구축하려고 하는데요. 현재까지 builder error가 발생하고 있어서. 이 부분 해결이 완료되어야 할 것 같습니다. (error :: Docker 설치 시 configuration이 잘못된 것인지 로컬 tmp directory 내에 실행마다 builder-number 폴더에서 number 부분이 docerfile 실행마다 바뀌는 부분이 있어서 경로를 잡지 못 하는 것 같습니다.)

kmu-leeky commented 6 years ago

Annotorious 는 웹기반의 시스템이 아니라는 얘기야?

S3 인터페이스로는 boto가 좋을것 같아.

그 아래에, AWS 인스턴스 접속은 AWS EC2 인스턴스 접속을 얘기하는 거야? 아니면 AWS CLI 얘기야? 만약 인스턴스라면 윈도우에서 putty 를 사용해도 되

세부적으로 일이 많은것 같으니. 일의 전체 계획을 세우고 세부 작업 아이템 별로 이슈를 만들어서 트래킹하자.

oryondark commented 6 years ago

네 교수님!

2018.04.06

교수님 우선 말씀하셨던 boto 라이브러리를 이용한 업로드 기능을 잠시 뒤로 미루고, 현재 LabelMe 동작 및 사용법을 찾아가면서 구축을 진행하고 있습니다. 계획은 아래와 같습니다.

  1. LabelMe를 이용하여 웹 기반 서비스 구축

    • 현재 제공된 자바스크립트와 HTML 소스 일부의 문제가 있어 수정 중에 있습니다.

  2. 웹으로부터 Image item을 입력받고 태깅할 수 있도록 구현

  3. 태깅된 정보(json)파일과 이미지 샘플파일을 각각 확장자에 맞춘 디렉토리에 저장

  4. 파이썬(boto)를 이용하여 S3로 업로드

    • 사용하는 API가 적으며, 현재 정상동작하는지 확인하기 위하여 bucket list를 뽑아오는 수준으로 구현해두었습니다.

  5. 외부로부터 샘플 파일 일부 수집하여 추가 테스팅

  6. Docker httpd를 구축하여 배포 가능하도록 수정

위와 같이 진행할 예정입니다. 웹이 아무래도 오래 걸릴 듯 하지만, 파이썬을 이용한 작업은 비교적 빠르게 끝낼 수 있을 것 같습니다.

예상보다 웹이 많은 부분을 담당하고 있는 듯하고, 처음 다뤄보는 부분이지만 라이브러리 형식으로 제공되는 오픈소스라서 어느정도 구현해 나아가고 있습니다.

당초보다 조금 늦어질 것 같지만 빠르게 구축하겠습니다.

Docker 이슈. 말씀하셨던 Docker 컨테이너는 고민한 결과 모든 작업을 정확하게 구축할 수 있게되면 개발환경(로컬)에서 배포용으로 구축하려고 합니다.

AWS Instance 이슈.

교수님 아마존 인스턴스에 접속하는 것에 이슈로 그 동안 Putty로 이용해서 매번 접속했었는데요. 현재 랩실 와이파이를 통해 네트워크를 연결 한 후 접속을 시도하면 호스트를 찾을 수 없는 것 같습니다.

이슈문제가 공유기로 IP를 할당받아 사용하기 때문에 Virtual IP로 되어있어 Real IP 접속에 제한이 있는 것 같은데요. 네트워크를 다뤄 본 경험은 크게 없어서, 지금은 따로 찾아서 조정하는 것 보다 현재 작업 중인 것이 우선인 듯 하여 개인적으로 이용하는 와이파이 네트워크로 접속하고 있습니다.

이 문제의 대해 제가 직접 담당자 분에게 연락을 해서 이슈해결을 부탁드리면 될까요?

kmu-leeky commented 6 years ago

오케이.

라벨미에서는 단계 1,2,3 번이 가장 중요해 보이네. 이 이슈에서는 1,2,3 번 작업에 대한것만 업데이트 하도록 하자. 나머지 4,5,6 번은 다른 이슈를 만드는게 더 나을듯.

4

5

마찬가지로 컨테이너 배부 역시 아직은 신경을 많이 안써도 괜찮을듯.

AWS 접속 이슈는 학교 네트워크에서 22번 포트를 나가는것 들어오는것을 다 막아서 일수도 있어. 할 수 있다면, AWS EC2 에서 22번 포트 외에 다른 포트로 SSH 를 되게 하고, EC2 instance 에서 해당 포트들을 open 해주면 되.

6

다들 별개의 이슈에서 트래킹 하자.

oryondark commented 6 years ago

교수님 안녕하세요. 작업이 꽤 늦은 것 같습니다.

Image Annotation 구현

  1. LabelMe -> Annotorious 로 변경 : LabelMe의 경우 스크립트가 복잡하고, XMLHttpRequest의 원인을 규명하지 못 하여 Annotorious로 변경하였으며, 제공된 스크립트를 추가하고 함수만 구현하면 되는 부분으로 보다 쉬웠습니다.

  2. Json Create : 현재 Json을 따로 파일로 만들진 않았으며, Console.log를 통해 Json을 만든 모습을 확인할 수 있었습니다.

  3. Json Data에 들어가는 값 : Annotorious에서 기본적으로 제공해주는 tag name(text), image location(src), coordinates(geometry)가 있으며, 이를 Json형태의 Object로 만들었습니다.

  4. 문서화 및 github upload는 정리가 된 후 진행하겠습니다.

추가 이슈

  1. Annotorious 정보에서 알게된 사실로 현재 플러그인 중 Elastic Search Service 제공 기능의 플러그인이 있는 것으로 확인되었습니다. 해당 플러그인이 사용가능한지 확인해보도록 하려고 합니다.

  2. 이전에 PHP업로드 기능은 해당 이슈에서 올렸어야 했는데, 잘못하여 #4 이슈로 작성하였습니다. 따라서 구현된 업로드 기능과 더불어 Annotation 기능을 유연하게 연동할 예정입니다.

감사합니다.

kmu-leeky commented 6 years ago

응 그래. 오늘 오후에 랩에 갈것 같으니 같이 얘기해보자.

oryondark commented 6 years ago

annotation web

http://ec2-13-125-180-211.ap-northeast-2.compute.amazonaws.com/

파일 업로드 버튼은 local 서버로 image 업로드는 가능하지만, 현재 list로 읽어오는 기능은 추가하지 않았습니다.

kmu-leeky commented 6 years ago

오케이. 현재 버전으로 프로토 타입 기능은 충분할듯 하니 이번 이슈는 클로즈하고 다른 기능들은 새로운 이슈에서 트래킹 하자.