[Week34] Max

[hsuanchi]

最新的進度是什麼？

上週 week 33 預期完成進度：

競品分析的部分:

• [x] 上架商品優先順序策略
  • 波士頓矩陣分類銷售產品
• [x] 商品訂價策略
  • 近期交易售價區間
  • 競品使用 Hash Tag 標籤
  • 競品免運或優惠活動
• [x] 掌握競品數據
  • 日銷售
  • 週銷售
  • 月銷售
  • 銷售相關數據
  • 商品評價數據

【數據分析】蝦皮賣家競品分析

本週 week 34 預期完成進度：

本週任務是重構爬蟲程式，原計劃是再多加一個 IP 列隊池來爬更多商品，但目前爬取商品數約 5 萬件，爬取時間 60 秒完成，暫時先不考慮寫 IP 列隊池。 所以打算重構一下爬蟲，然後部署到 GCP 上，即算完成此次的支線任務了！未來如果需要爬更多商品，再來將 IP 列隊池補起來。

支線任務 - 待辦清單：

測試爬蟲差異，整理成文章:

• [x] 多執行緒（Multi-threading）
• [x] 多處理程序（Multi-processing）
• [x] 多處理程序池（Multi-processing pool）
• [x] 協程（Coroutines）
• [x] Async IO Design Patterns
• [x] 多執行緒 vs 多處理程序 vs 多處理程序池 vs 協程比較

蝦皮爬蟲主程式：

• [x] 單線異步爬取 shop_detail 資訊
• [x] 單線異步爬取 shop_product_url 資訊
• [x] 單線異步爬取 product_detail 資訊
• [x] Bigquery 存爬取資料
• [x] Bigquery 存計算後的每日營業額 & 每日產品銷售
• [ ] IP 檢測列隊(使用生產者和消費者列隊去改)
• [ ] 外層用 Multi-processing 打包

競品分析的部分:

• [x] 競品年銷售額
• [x] 競品日銷售額
• [x] 商品相關銷售
• [x] 波士頓矩陣分類銷售產品
• [x] 競品使用 Hash Tag 標籤
• [x] 競品免運或優惠活動

此次支線任務累積文章：

【Python教學】淺談 Concurrency Programming 【Python教學】淺談 GIL & Thread-safe & Atomic 【Python教學】淺談 Multi-processing & Multi-threading 使用方法 【Python教學】淺談 Multi-processing pool 使用方法 【Python教學】淺談 Coroutine 協程使用方法 【Python教學】Async IO Design Patterns 範例程式 【實戰篇】 解析 Python 之父寫的 web crawler 異步爬蟲 【數據分析】蝦皮賣家競品分析