Open hsuanchi opened 4 years ago
【Python教學】淺談 Multi-processing pool 使用方法 上週整理了多處理程序池的筆記，之前沒有很瞭解以下 pool 四個用法上的差異(是否異步和可否帶入多參數)，callback 以及取得回傳資料，這次花了點時間研究和紀錄，接下來爬蟲最外層會使用 Multi-processing pool 來實作。
【Python教學】Python 使用 BigQuery 的操作與安裝 然後這週研究了 BigQuery 並使用在目前的爬蟲上，結構上跟 Firebase 一樣 (Project > Datasets > Table)，只是多了 view 來將常用的 Query 存入檢視表內，還有 Partitioned Tables 的部分花了點時間研究，不過 BigQuery 和 DataStudio 整合性很高真的很方便，這次也順便測試一下直接將 json 資料傳入 BigQuery 或許之後可以用得到(?
本週將繼續整理爬蟲文章 - 協程（Coroutines），整理完後就可以寫多執行緒 vs 多處理程序 vs 多處理程序池 vs 協程的紀錄文章了
繼續整理爬蟲的文章
測試爬蟲差異，整理成文章:
蝦皮爬蟲主程式：
競品分析的部分:
另外蝦皮的競品分析部分，目前已經可以拉出像這樣的數據了。例如：輸入七星劍，可以看到 17 家競品過去銷售七星劍的尺寸、銷售量、訂價、使用的 Hash tag 和是否有免運等銷售細項。
今天討論了什麼？結論是什麼？
上週 week 30 完成進度：
【Python教學】淺談 Multi-processing pool 使用方法 上週整理了多處理程序池的筆記，之前沒有很瞭解以下 pool 四個用法上的差異(是否異步和可否帶入多參數)，callback 以及取得回傳資料，這次花了點時間研究和紀錄，接下來爬蟲最外層會使用 Multi-processing pool 來實作。
【Python教學】Python 使用 BigQuery 的操作與安裝 然後這週研究了 BigQuery 並使用在目前的爬蟲上，結構上跟 Firebase 一樣 (Project > Datasets > Table)，只是多了 view 來將常用的 Query 存入檢視表內，還有 Partitioned Tables 的部分花了點時間研究，不過 BigQuery 和 DataStudio 整合性很高真的很方便，這次也順便測試一下直接將 json 資料傳入 BigQuery 或許之後可以用得到(?
本週將繼續整理爬蟲文章 - 協程（Coroutines），整理完後就可以寫多執行緒 vs 多處理程序 vs 多處理程序池 vs 協程的紀錄文章了
下週 week 31 完成進度：
繼續整理爬蟲的文章
支線任務 - 待辦清單：
測試爬蟲差異，整理成文章:
蝦皮爬蟲主程式：
競品分析的部分:
另外蝦皮的競品分析部分，目前已經可以拉出像這樣的數據了。例如：輸入七星劍，可以看到 17 家競品過去銷售七星劍的尺寸、銷售量、訂價、使用的 Hash tag 和是否有免運等銷售細項。