[Week33] Max

[hsuanchi]

最新的進度是什麼？

上週 week 33 完成進度：

• [x] 整理併發、並行
• [x] 多執行緒池 vs 多處理程序池 vs 協程比較 vs 多處理程序池+協程 【Python教學】淺談 Concurrency Programming

本週 week 34 預期完成進度：

競品分析的部分:

• [ ] 上架商品優先順序策略
  • 波士頓矩陣分類銷售產品
• [ ] 商品訂價策略
  • 近期交易售價區間
  • 競品使用 Hash Tag 標籤
  • 競品免運或優惠活動
• [ ] 掌握競品數據
  • 日銷售
  • 週銷售
  • 月銷售
  • 銷售相關數據
  • 商品評價數據

支線任務 - 待辦清單：

測試爬蟲差異，整理成文章:

• [x] 多執行緒（Multi-threading）
• [x] 多處理程序（Multi-processing）
• [x] 多處理程序池（Multi-processing pool）
• [x] 協程（Coroutines）
• [x] Async IO Design Patterns
• [x] 多執行緒 vs 多處理程序 vs 多處理程序池 vs 協程比較

【Python教學】淺談 Concurrency Programming 【Python教學】淺談 GIL & Thread-safe & Atomic 【Python教學】淺談 Multi-processing & Multi-threading 使用方法 【Python教學】淺談 Multi-processing pool 使用方法 【Python教學】淺談 Coroutine 協程使用方法 【Python教學】Async IO Design Patterns 範例程式 【實戰篇】 解析 Python 之父寫的 web crawler 異步爬蟲

蝦皮爬蟲主程式：

• [x] 單線異步爬取 shop_detail 資訊
• [x] 單線異步爬取 shop_product_url 資訊
• [x] 單線異步爬取 product_detail 資訊
• [x] Bigquery 存爬取資料
• [x] Bigquery 存計算後的每日營業額 & 每日產品銷售
• [ ] IP 檢測列隊(使用生產者和消費者列隊去改)
• [ ] 外層用 Multi-processing 打包

競品分析的部分:

• [ ] 上架商品優先順序策略
  • 波士頓矩陣分類銷售產品
• [ ] 商品訂價策略
  • 近期交易售價區間
  • 競品使用 Hash Tag 標籤
  • 競品免運或優惠活動
• [ ] 掌握競品數據
  • 日銷售
  • 週銷售
  • 月銷售
  • 銷售相關數據
  • 商品評價數據

整理一下目前狀況

1. 上週已完成原預設的爬蟲系列文章
2. 這週將會著重於產出競品分析報告，也會確認完所有需要的資料庫欄位後
3. 下週重構目前的爬蟲程式