wevity 데이터 저장 이슈 : 제가 wevity 크롤링 데이터를 "0, ing" 로 설정하고 엘라스틱서치에 저장하였으나 저장되던 중 "url"이 계속 누락되는 오류가 발생합니다. (list index out of range : 아마 가장 처음 url 데이터 또는 가장 마지막 url 데이터가 누락되는 것 같습니다.) "2, end"로 설정하고 저장하면 모든 데이터가 잘 저장이 됩니다. 크롤링 코드를 한 번 더 체크해보아야 할 것 같습니다.
wevity 데이터 검색 이슈 : 제가 wevity 크롤링 데이터를 "2, end"로 설정한 후, "title"로 "2020 부산국제광고제 청소년 크리에이티브 공모전"을 검색하였습니다. 그런데 가장 처음에 "2020 부산국제광고제 청소년 크리에이티브 공모전" 결과가 출력되고 그 뒤로 제목에 포함된 단어들을 포함하는 결과들이 쭉 출력이 됩니다. 찾아보니까 데이터 검색 시 엘라스틱서치 자체에서 검색 단어들을 형태소 분석을 하여 그 형태소를 포함하는 모든 데이터를 결과로 출력하는 것을 알게 되었습니다. 그래서 가장 정확한 결과 1개를 출력하는 것을 좀 더 연구해보아야 할 것 같습니다.
jangscon
commented
3 years ago
wevity 데이터 저장 이슈 : 제가 wevity 크롤링 데이터를 "0, ing" 로 설정하고 엘라스틱서치에 저장하였으나 저장되던 중 "url"이 계속 누락되는 오류가 발생합니다. (list index out of range : 아마 가장 처음 url 데이터 또는 가장 마지막 url 데이터가 누락되는 것 같습니다.) "2, end"로 설정하고 저장하면 모든 데이터가 잘 저장이 됩니다. 크롤링 코드를 한 번 더 체크해보아야 할 것 같습니다.
wevity 데이터 검색 이슈 : 제가 wevity 크롤링 데이터를 "2, end"로 설정한 후, "title"로 "2020 부산국제광고제 청소년 크리에이티브 공모전"을 검색하였습니다. 그런데 가장 처음에 "2020 부산국제광고제 청소년 크리에이티브 공모전" 결과가 출력되고 그 뒤로 제목에 포함된 단어들을 포함하는 결과들이 쭉 출력이 됩니다. 찾아보니까 데이터 검색 시 엘라스틱서치 자체에서 검색 단어들을 형태소 분석을 하여 그 형태소를 포함하는 모든 데이터를 결과로 출력하는 것을 알게 되었습니다. 그래서 가장 정확한 결과 1개를 출력하는 것을 좀 더 연구해보아야 할 것 같습니다.