database 서버 - Githubissues

yuntaeJ commented 4 years ago

-> DB서버는 NCP에서 제공하는 ubuntu 16.04 MySQL 서버 이용하기로 함

yuntaeJ commented 4 years ago

yuntaeJ commented 4 years ago

DB 설계 경로 1. 네이버 쇼핑 크롤링, 쇼핑몰 크롤링, 유튜브 api 컨테이너 코드를 python 으로 작성하고 python 에서 제공하는 mysql 패키지를 이용하여 바로 mysql DB서버에 저장 (in python) pip install PyMySQL

yuntaeJ commented 4 years ago

의문점: 1.db를 하나로 두고 그안에 여러 테이블을 만들 것인가 아님 db를 여러개 둘것인가? 2.추가적으로 이미지크롤링도 해보면 어떨까?-선택된 키워드에 해당하는 이미지 제시

yuntaeJ commented 4 years ago

(저번에 너가 쓴거) Db에서 keyword를 넣는데 크게 두 개의 테이블로 하자 하나는 관측 결과를 기록하는 real_keyword 테이블 다른 하나는 예측 결과를 기록하는 predict_keyword 테이블

그리고 그 테이블의 한 row는 업로드 날ㅉㅏ(또는 예측 날짜), 카테고리, 키워드 리스트 이렇케 3가지로 하자

추가할만한 사항은 thumnale에서 나온 키워드랑 title에서 나온 키워드를 분린사여 테이블을 더 만들 건가? 정도. 나중에 더 고민해보자

yuntaeJ commented 4 years ago

저기서 두번째문단 크롤링에 적용해보면 1.날짜-mysql에서 날짜함수 이용 2.카테고리-크롤링 사이트 주소 별로 고정 3.키워드 4.성별 정보-크롤링 사이트 주소 별로 고정

이렇게 총 5가지 column row는 10으로 통일해서 저장할 생각

amkorousagi commented 4 years ago

일단 확장을 위해 column은 6개로하고 Row가 10이면 우리가 저장할수있는 데이터가 10 인데? Row는 데이터의 갯수가되 Col은 데이터의 타입을 정의한다고 뵈야되

그리고 성별 정보를 크롤링 사이트 주소별 고정이라고했는데 다른 성별 키워드 볼때 주소바뀌는거 확인했어? ajax라는 기술로 reload없이 데이터를 불러올수있어서 확인필요

그리고 성별은 유튜브 api 에서 알수있는지 모르겠다 자기 채널이라면 Qauth~ 인증으로 자기채널 통계 불러올수있는데 자기채널 통계아니라도 불러올수있는지 모르겠다

amkorousagi commented 4 years ago

의문점: 1.db를 하나로 두고 그안에 여러 테이블을 만들 것인가 아님 db를 여러개 둘것인가? 2.추가적으로 이미지크롤링도 해보면 어떨까?-선택된 키워드에 해당하는 이미지 제시

이 위에 해당하는 답변인데 db안에 여러 테이블 두는게 더 일반적이고 리소스활용도 뛰어나.

그리고 이미지 크롤링을 할경우 meali2 깃헙을 보면알겠지만 서버 권한문제로 머가안되는게 있을꺼야 그런부분에 유의하면서 하면 문제 없을거야 구글 computer vision의 경우 엄청 쉽고 강력하거든. 권한문제만 신경써줘

yuntaeJ commented 4 years ago

키워드 순위

네이버 쇼핑에서 10순위밖에 제공안해서 row10개로 통일하고 그리고 데이터 추가할려면 그냥 코드에서 sql명령어 쓰면 줄이나 열같은거 쉽게 편집할 수 있어서 필요하면 그때 코드 바꾸면될듯

성별별로 다 주소 바뀌더라 네이버쇼핑이랑 쿠팡, 11번가

yuntaeJ commented 4 years ago

yuntaeJ commented 4 years ago

select cast(now() as char) -> 위와 같이 현재 시간을 문자열로 변환

select date_format('2014-12-09 22:13:10', '%Y-%m-%d %H:%i:%s') -> 문자열로 받은 데이터를 날짜형으로 변환

yuntaeJ commented 4 years ago

naver shopping 키워드 데이터를 mysql DB서버에 저장

리눅스환경에서 확인

amkorousagi commented 4 years ago

DB 서버를 구축하고, data를 update함 이상없음으로 닫겠음

amkorousagi / Trendup