Open ShannonHung opened 8 months ago
https://shannonhung.github.io/posts/pyspark-monitoring-ui/
Introduction Ref: [看图说话] 基于Spark UI性能优化与调试——初级篇 Ref: 理解spark中的job、stage、task 本篇主要會記錄使用Spark的一些觀察日誌,希望可以了解以下問題: Q: stage, task, job, partition 之間的關係? Q: 何時會需要 Shuffle? Shuffle 是如何運作的? 簡單來說,一個 Spar
https://shannonhung.github.io/posts/pyspark-monitoring-ui/
Introduction Ref: [看图说话] 基于Spark UI性能优化与调试——初级篇 Ref: 理解spark中的job、stage、task 本篇主要會記錄使用Spark的一些觀察日誌,希望可以了解以下問題: Q: stage, task, job, partition 之間的關係? Q: 何時會需要 Shuffle? Shuffle 是如何運作的? 簡單來說,一個 Spar