Open ShannonHung opened 8 months ago
https://shannonhung.github.io/posts/pyspark-monitoring-ui/
Introduction Ref: [看图说话] 基于Spark UI性能优化与调试——初级篇 Ref: 理解spark中的job、stage、task 本篇主要會記錄使用Spark的一些觀察日誌，希望可以了解以下問題： Q: stage, task, job, partition 之間的關係？ Q: 何時會需要 Shuffle? Shuffle 是如何運作的？ 簡單來說，一個 Spar
https://shannonhung.github.io/posts/pyspark-monitoring-ui/
Introduction Ref: [看图说话] 基于Spark UI性能优化与调试——初级篇 Ref: 理解spark中的job、stage、task 本篇主要會記錄使用Spark的一些觀察日誌，希望可以了解以下問題： Q: stage, task, job, partition 之間的關係？ Q: 何時會需要 Shuffle? Shuffle 是如何運作的？ 簡單來說，一個 Spar