aszx87410 / mentorship-program

It's the repo for latest updates about mentorship program
17 stars 2 forks source link

[Week34] Max #249

Open hsuanchi opened 4 years ago

hsuanchi commented 4 years ago

最新的進度是什麼?

上週 week 33 預期完成進度:

競品分析的部分:

【數據分析】蝦皮賣家競品分析

本週 week 34 預期完成進度:

本週任務是重構爬蟲程式,原計劃是再多加一個 IP 列隊池來爬更多商品,但目前爬取商品數約 5 萬件,爬取時間 60 秒完成,暫時先不考慮寫 IP 列隊池。 所以打算重構一下爬蟲,然後部署到 GCP 上,即算完成此次的支線任務了!未來如果需要爬更多商品,再來將 IP 列隊池補起來。

支線任務 - 待辦清單:

測試爬蟲差異,整理成文章:

蝦皮爬蟲主程式:

競品分析的部分:

此次支線任務累積文章:

【Python教學】淺談 Concurrency Programming 【Python教學】淺談 GIL & Thread-safe & Atomic 【Python教學】淺談 Multi-processing & Multi-threading 使用方法 【Python教學】淺談 Multi-processing pool 使用方法 【Python教學】淺談 Coroutine 協程使用方法 【Python教學】Async IO Design Patterns 範例程式 【實戰篇】 解析 Python 之父寫的 web crawler 異步爬蟲 【數據分析】蝦皮賣家競品分析