[Data] 데이터 전처리

[jaechoi97]

Data Pre-Processing

• 데이터 전처리 : 컬럼 : thickness, season, fashion_season, gender, transparency, hashtag, material, color
• 총 8개 컬럼에 대한 데이터 정제 및 결측치 제거

[jaechoi97]

issue

데이터의 언어 표준화 -> 원본 데이터에서 'color' 컬럼의 값은 한국어와 영어로 무작위로 혼합되어 있습니다. 분석을 안정적으로 수행하기 위해 모든 데이터를 영어로 표준화했습니다.

• 데이터 입력 시 판매자들의 자유로운 언어 선택으로 인해 데이터가 혼재되었습니다. 이를 해결하기 위해 인덱싱을 사용하여 데이터를 표준화했습니다.

[jaechoi97]

2/25 'season' 컬럼과 'fashion_season' 컬럼은 연관성이 있어 보임. season 데이터 정제를 먼저 하고 SS / FW 로 분류해서 fashion_season도 정제하기

[jaechoi97]

2/26 'material' 컬럼 데이터 정제

데이터가 정제되어 있지 않음. -> 한국어는 영어로 통일; 더 많은 비율의 소재를 채택하여 결측치 채움

[jaechoi97]

데이터 전처리 성공

• 코드 문서화 & 인코딩
• DB에 업로드 하기

[jaechoi97]

이미지 파일 추가 요청

• 카테고리 + 인덱스로 png파일 저장하기

import requests
from PIL import Image
from io import BytesIO
이미지 저장할 폴더 지정
output_folder = '/Users/jaechoi/dev/workspace/image_url/WinterOuter' # 수정할 부분
데이터프레임의 이미지 URL 열 이름
img_url_column = 'product_img_url'
product_code_column = 'product_code'
custom_text = 'WinterOuter'  # 수정할 부분: 원하는 제품명을 입력.
인덱스별 이미지 저장
for index, row in df[1151:1301].iterrows():
    img_url = row[img_url_column]
    product_code = row[product_code_column]
    try:
        # 이미지 다운로드
        response = requests.get(img_url)
        img = Image.open(BytesIO(response.content))

        # 이미지 저장
        img.save(f'{output_folder}/{custom_text}_{index}.png')  

        print(f"이미지 {custom_text}_{index} 저장 완료.")  
    except Exception as e:
        print(f"이미지 {custom_text}_{index} 저장 실패: {e}")