[making challenge] 2주차 개발일지

[jeongkyeom]

21.12.20

1. checklist

• [x] 백앤드 작업
• 전일 작업한 JSON파일 DB등록 작업
• DB등록 후 데이터확인작업

2. problem and solving

• DB저장 관련 문제 (같은 백앤드 팀원 승훈님의 도움으로 해결) JSON파일을 mongoDB에 올리는 방법을 검색해 보았고 2가지 방법을 찾음 (1. cmd 명령어를 통한 DB저장 / 2. mongoDB compass 프로그램을 통한 DB저장) ->두방법 모두 용량문제로 불가능함(JSON파일은 20MB, 용량제한은 16MB) -> 같은 백앤드 팀원의 도움으로 새로운방법으로 시도(파이썬 코드를 통해 한줄씩 DB등록)

import json
from pymongo import MongoClient

client = MongoClient('localhost', 27017)

db = client.dbdionysos

file_path = 'wines.json'

with open(file_path, 'r', encoding='UTF8') as json_file:
    json_data = json.load(json_file)

    for k in json_data['wines']:
        db.wines.insert_one(k)

• 누적데이터 관련 문제 (같은 백앤드 팀원 승훈님의 도움으로 해결) DB등록 후 데이터확인작업 -> 국기 데이터 누락건 발견 -> 신청했던 국기 API 일일 트래픽량 초과로 발생한 문제였음(와인갯수 - 약 2만5천개, 일일트래픽량 1만개) → 여분의 API인증키로 자료청구 후 코딩작업

#국기 API 수신용
flag_api_key_dic = {'정겸':'Bt7UDJuh%2BWuYJWLBoSGnIiMm5qxZO0NhIQH8PzuwSxURVjlzWyI7yqQeQYByRWoJt8huUxdZAuXJItneU%2FWfyA%3D%3D',
                    '유나':'PTiMwap95cBIBrBf5xUPhjRPbEN3019TXvq1jwTtTtBjPW%2FhQx6Br4Z%2Fm56kPIoHKgh4ZJQtObnQYR10igCROw%3D%3D',
                    '호선':'lEp%2BwInxYSRQTesxok%2FX0xgycPC6UL%2FY3ot97Hn8wgmdNzRjKvjl87uD3jKgRPggqhF3g7ZkvOxZWpFxT3zQqw%3D%3D'}
key_cnt = 1
flag_api_key = flag_api_key_dic['정겸']
flag_url = 'http://apis.data.go.kr/1262000/CountryFlagService2/getCountryFlagList2?serviceKey={}&pageNo=1&numOfRows=10&cond[country_nm::EQ]={}&cond[country_iso_alp2::EQ]={}'
#국가 코드 저장용
dict_from_csv = dict()
with open('외교부_국가표준코드_20210929.csv', mode = 'r') as inp:
    reader = csv.reader(inp)
    for rows in reader:
        dict_from_csv[rows[7]] = rows[0]

3. what I learned

• 파이썬을 통해 mongoDB 저장하는 방법을 익힘

4. idea

5. retrospection

구글링을 하며 수시간동안 여러 시도를 해봤지만 결국 실패했고, 결국 이번에도 팀원의 도움을 통해 문제를 해결했다. 이쪽분야의 배경지식 부족을 실감하면서도 지속적인 공부의 중요성을 다시한번 느끼게 되었다. 전체적인 크롤링 코드를 다시한번 찬찬히 보며 내것으로 만들어 봐야할것같다.

[jeongkyeom]

21.12.21

1. checklist

• [x] 백앤드 작업
• 전일 작업한 JSON파일 DB등록 작업
• DB등록 후 데이터확인작업

2. problem and solving

• DB저장 관련 문제(어제와 같은 문제) 어제보다는 빈도수가 줄었지만 여전히 국기이미지 자료가 일부 누락되는 문제가 발생 ->결국 원인을 찾지 못하였고 누락된 부분은 엑셀을 통하여 채워주기로함 -> 완전한 DB파일 생성(BUT, csv파일)

  https://webisfree.com/2020-09-19/%EC%97%91%EC%85%80%EC%97%90%EC%84%9C-json-%ED%8C%8C%EC%9D%BC-%EB%B6%88%EB%9F%AC%EC%98%A4%EA%B8%B0-%ED%85%8C%EC%9D%B4%EB%B8%94%EB%A1%9C-%EB%B3%80%ED%99%98%ED%95%98%EA%B8%B0

• 파이썬을 통하여 CSV파일을 DB에 올리는 방법에 대해 검색 후 방법을 찾아 아래와 같은 코딩작업 시도했으나 에러발생(module 'csv' has no attribute 'Reader')

  https://nerogarret.tistory.com/63

import csv
from pymongo import MongoClient

client = MongoClient('localhost', 27017)

db = client.dbdionysos

f = open("wines.csv", "r")
reader = csv.reader(f)

for row in reader:
    # print(row)
    db.wines.insert_one(row)

-> 이것저것 시도해봤는데 위 코드에서 reader = csv.reader(f) 부분을 reader = csv.Dictreader(f)로 고치니 정상 작동하였다. 아마 딕셔너리 형태로 읽어오는 형태인 dictreader명령어를 사용했기 때문인걸로 생각된다. 제대로 작동되는 전체 코드는 아래와 같다.

import csv
from pymongo import MongoClient

client = MongoClient('localhost', 27017)

db = client.dbdionysos

f = open("wines.csv", "r", encoding='UTF8')
reader = csv.DictReader(f)

for row in reader:
    db.wines.insert_one(row)

3. what I learned

• 파이썬을 통해 csv파일을 mongoDB 저장하는 방법을 익힘
• 엑셀을 통해 json파일을 수정할 수있다는 사실을 알게 됨
• csv파일은 키값이 누락되어 있는 경우가 있기에 따로 키값설정을 해줘야함(이부분은 다시한번 알아봐야겠다)

4. idea

• DB작업 마친 후 스크립트 연결 업무분배를 어떻게 할 것인지(우측 네비바, 추천슬라이드, 상품검색, 추천 동영상 링크, 상세페이지)
• 백앤드의 업무범위가 어디까지인지 궁금해짐(app.py만 만지면 되는건지 html파일까지 관여해야 하는건지)

5. retrospection

그동안 말도많고 속썩이던 DB작업이 드디어 마무리 지어졌다. 저장할 DB서버가 정해지는 대로 DB작업을 마무리짓고 본격적으로 백앤드 작업에 돌입할것이다. 그동안 웹크롤링 작업 및 DB작업을 하면서 많은 시행착오가 있었지만 덕분에 얻어가는것이 많았던것 같고 향후 비슷한 작업을 함에 있어서 큰 자산으로 남을 좋은 경험이었다.