LeeYK / Deep-ing-Source

1 stars 0 forks source link

Image crawling @ flickr #4

Open seriousran opened 7 years ago

seriousran commented 7 years ago

크롤러 코딩 시작...

야후 가입해서 flickr API key 부터 받는 중... (https://www.flickr.com/services/apps/create/apply)

https://github.com/alexis-mignon/python-flickr-api/ Alexis-mignon이 개발한 python flickr api 사용

다운 받아서 Lib에 넣었더니 아래와 같은 오류 발생 <type 'exceptions.ImportError'> No module named oauth

여기서 oauth를 받아서 Lib에 추가 https://pypi.python.org/pypi/oauth/1.0.1

새로운 오류 발생 (windows 환경이라 안되나...) Could not load all modules <type 'exceptions.ImportError'> cannot import name method_call => api key 입력해주니 오류 사라짐


https://github.com/kjahan/flickr-crawler/blob/master/flickr-crawler.py 위의 crawler 소스 코드를 사용하려 함

django.utils.encoding이 없다고 함 django를 다운로드해서 lib에 추가 'lru_cache'가 없다고 함. python 3 interpreter라고 함... django 1.8 버젼을 다운받음 (나는 python 2.7로 하는중)

AttributeError: 'module' object has no attribute 'FlickrAPI' 에러 뜸

api_key = ''

flickr = flickrapi.FlickrAPI(api_key)

대신 flickrapi.set_keys(api_key = '', api_secret = '') 사용!

id_lists.dat, last_state.dat 파일 없다고 찡찡댐 빈 파일로 만듬

실행해보니, 그냥 아무것도 안하고 끝남. 파일에 id 넣어봄. 그래도 마찬가지.. state는 어떻게 넣어야하는지 모름... 이 코드는 안되는걸로....ㅎㅎㅎ.....


Image download 부터 직접 차근 차근 짜보기로...

seriousran commented 7 years ago

아래와 같이 license 값에 따라 저작권 문제가 없는 사진만 저장할 수 있음

photos = flickr.photos_search(tags=tags, tag_mode='all', per_page=number, license=0)

where the license has the values:

0 - All Rights Reserved 4 - Attribution License 6 - Attribution-NoDerivs License 3 - Attribution-NonCommercial-NoDerivs License 2 - Attribution-NonCommercial License 1 - Attribution-NonCommercial-ShareAlike License 5 - Attribution-ShareAlike License 7 - No known copyright restrictions 8 - United States Government Work

seriousran commented 7 years ago

API key는 직접 얻어서 사용해야해ㅋㅋ 내꺼 쓰지 말겅...ㅎㅎ

seriousran commented 7 years ago

재훈이가 알려준 google image crawler https://github.com/yansfil/google-image-crawler-zyf/blob/master/README.md