search

JerryLead / SparkInternals

Notes talking about the design and implementation of Apache Spark
5.28k stars 1.84k forks source link

Shuffle details的一点建议 #41

Open GenTang opened 9 years ago

GenTang commented 9 years ago

Hi， 最近发现您写的sparkinternals的技术笔记，读完之后觉得非常好，收益匪浅。 但是觉得稍有不足之处就是shuffle details这一章节只介绍了hash based shuffle，但是其实从1.2开始，sort based shuffle已经成为了spark的默认选择，从1.5开始又引入了tungsten-sort。所以个人觉得更新这部分内容可能会更好？

祝好！ 亘

JerryLead commented 9 years ago

谢谢建议，sort-based之前研究过，但苦于一直没有空闲去总结，一直在写论文，最近也在写毕业论文，准备找工作，等到这段空闲下来会慢慢补充，还会包括调度器等，欢迎交流！

GenTang commented 9 years ago

话说，我觉得这篇文章讲得还算比较清楚的。 http://www.cnblogs.com/hseagle/p/3979744.html 希望能对你有帮助。

祝好！ 亘

2015-10-09 10:19 GMT+08:00 Lijie Xu notifications@github.com:

谢谢建议，sort-based之前研究过，但苦于一直没有空闲去总结，一直在写论文，最近也在写毕业论文，准备找工作，等到这段空闲下来会慢慢补充，还会包括调度器等，欢迎交流！

— Reply to this email directly or view it on GitHub https://github.com/JerryLead/SparkInternals/issues/41#issuecomment-146738105 .