Closed seoyeong200 closed 3 months ago
🟦 일단 전체 데이터 프로세싱 해보고 진행 과정에서 OOM 등 문제 발생할 시 해당 작업을 고려해보자.
🟦 ~일단 제외해서 결과 저장, api 구현부터 하고 다시 돌아오자.~
수집한 데이터 transform
+---+--------+----------------------------------+-------------------------------------+--------------------------+----------------+-----------------------------------+--------------------+----+------------------------------+--------------------+----------------+ | id| bid| title| subtitle| author| category| description| image|rank| preprocessed| vectorized|most_similar_idx| +---+--------+----------------------------------+-------------------------------------+--------------------------+----------------+-----------------------------------+--------------------+----+------------------------------+--------------------+----------------+ | 1|10025832| 상큼한 연애 달콤한 결혼| 이인철 변호사의 사랑 레시피 |...| '이인철'|연애/사랑 에세이| '괜찮은 사람이 있긴 한 걸까?...|'https://shopping...| 46| [괜찮다, 사람, 있다, 하다,...|[0.18804878799445...| [7763, 2606]| | 2|10027283| Someday| 느리게100권읽기: 2차 대상도서|'피터 H. 레이놀즈,McGhe...| 경영경제| Alison McGhee and...|'https://shopping...| 22| [alison, mcghee, ...|[-0.2129876722714...| [1, 738]| | 3|10031409| 엣센스 일한사전| 제4판| '민중서림 편집국'| 일한/한일사전| 표제어 12만 4천여 어를 수록...|'https://shopping...| 10| [표제어, 만, 어르다, 수록,...|[0.17724260063841...| [2, 7608]| | 4|10037014| 법륜 스님의 행복| 행복해지고 싶지만 길을 몰라 헤...| '법륜'| 불교| 당신은 행복해질 권리가 있다 ...|'https://shopping...| 49|[당신, 행복하다, 권리, 있다...|[0.16337765482695...| [3, 7012]| | 5|10052520| 교양 고사성어 대사전| | '김석민'| 기타나라어사전| 故事成語는 그 속에서 성현의 진...|'https://shopping...| 4| [늘다, 그, 속, 성현, 진리...|[0.11492407866945...| [61, 4]| | 6|10086025| 그랜드 부다페스트 호텔| 웨스 앤더슨 컬렉션| '웨스 앤더슨'| 연극/영화| ‘앤더슨 터치’를 완벽하게 구현...|'https://shopping...| 43|[앤더슨, 터치, 완벽하다, 구...|[-0.0787868733510...| [5, 466]| | 7|10086034| 책이 너무 많아| | '사카이 준코'| 독서 에세이| 사카이 준코의 극강의 독서 산문...|'https://shopping...| 46| [사카이, 준코, 강의, 독서,...|[0.15767055422042...| [6, 4697]| | 8|10086305| 아틀라스 중앙유라시아사| | '김호동'| 동양사| 중앙유라시아사 연구의 세계적 석...|'https://shopping...| 22| [중앙, 유라시아, 사, 연구,...|[0.14724617895329...| [7, 3037]| | 9|10087753| 알프스 트레킹 5| 융프라우 지역 일주| '허긍열'| 등산| 『알프스 트레킹』제5권. 두 발...|'https://shopping...| 25| [알프스, 트레킹, 권, 두, ...|[0.20185696594417...| [8, 3045]| | 10|10119191| 몽골의 자생식물(Wild Pla...| Wild Plants of Mo...| '권용진,남상용,송윤진'| 원예/조경| 3년간에 걸쳐 조사한 지역으로는...|'https://shopping...| 1| [년, 걸치다, 조사, 지역, ...|[0.12815546499818...| [9, 7621]| | 11|10120440| 우리 연극해요 1| 청소년 연극 대본집| '전국교사연극모임'| 청소년 예술| 작은숲 청소년 11권. 이 책은...|'https://shopping...| 43| [작다, 숲, 청소년, 권, 이...|[0.09360052052917...| [10, 863]| | 12|10120443| 우리 연극해요 2| 청소년 연극 대본집| '전국교사연극모임'| 청소년 예술| 30여 년 동안 학교 현장에서 ...|'https://shopping...| 43| [여, 년, 동안, 학교, 현장...|[0.12053138695848...| [11, 12]| | 13|10128115| 작가의 책| 작가 55인의 은밀한 독서 편력| '패멀라 폴'| 독서 에세이| 우리의 마음을 사로잡는 작가들의...|'https://shopping...| 46|[우리, 마음, 사로자다, 작가...|[0.10745021498193...| [12, 11]| | 14|10129166| 완벽하지 않은 것들에 대한 사랑| 온전한 나를 위한 혜민 스님의 ...| '혜민'| 삶의 지혜/명언| ‘나’ 자신과 세상을 향한 온전...|'https://shopping...| 46| [나, 자신, 세상, 향, 온전...|[0.19743773700449...| [13, 7116]| | 15|10168102| 세상을 바꾼 미술|아름다움은 인간을 어떻게 변화시키는가| '정연심'| 청소년 예술| 『세상을 바꾼 미술』에서는 예술...|'https://shopping...| 43|[세상, 바꾸다, 미술, 예술가...|[0.19563594221004...| [14, 2798]| | 16|10168352| 북유럽 신화 | 바이킹의 신들| '케빈 크로슬리-홀런드'| 신화| 현대지성 인문서재 2권. <북유...|'https://shopping...| 46| [현대, 지성, 인문, 서재, ...|[0.13105291209825...| [15, 39]| | 17|10191146| 아무것도 아닌 것들의 기쁨| 사도바울과 새 시대의 윤리| '김학철'| 종교일반| 사도 바울은 기독교의 실질적인 ...|'https://shopping...| 43| [사도, 바울, 기독교, 실질,...|[0.17058622075165...| [16, 7698]| | 18|10191221|샤크 신동만과 함께하는 빅게임 낚시| | '신동만'| 낚시| 거친 바다를 누비는 빅피쉬 파이...|'https://shopping...| 25|[거치다, 바다, 누비, 빅피쉬...|[-0.0390135807024...| [17, 811]| | 19|10198945| 영진 7만5천 지도 1:75000| 개정판| '영진문화사 편집부'| 지도/지리| 『영진 7만5천 지도(1:750...|'https://shopping...| 25| [영진, 만천, 지도, 세종, ...|[0.19028800335114...| [18, 7312]| | 20|10207512| 진실이 치유한다| 몸과 마음이 회복되는 7가지 에...| 'King, Deborah'| 명상 에세이|명상 에세이《진실이 치유한다》는...|'https://shopping...| 43| [명상, 에세이, 진실, 치유,...|[0.03684908995174...| [19, 993]| +---+--------+----------------------------------+-------------------------------------+--------------------------+----------------+-----------------------------------+--------------------+----+------------------------------+--------------------+----------------+
Related Issues
15
11
1
architecture, pipeline flow
🟦 일단 전체 데이터 프로세싱 해보고 진행 과정에서 OOM 등 문제 발생할 시 해당 작업을 고려해보자.
영어 줄거리 도서(영어 도서) 누락 발생
🟦 ~일단 제외해서 결과 저장, api 구현부터 하고 다시 돌아오자.~
Descriptions
1. data processing package 추가
수집한 데이터 transform
2. Logger Object 추가
Tests
Screenshots (optional)
Etc. (optional)