vieyahn2017
commented
4 years ago 月下旬，Uber开源了一个分布式性能分析器，名为JVM Profiler。Uber搭建这一工具的目的是解决他们在使用Apache Spark框架过程中的资源配置问题。Apache Spark是一个非常流行的框架，主要用于处理大型数据流问题，这正是Uber所需要的。JVM Profiler是为Spark而建的，但它也可以被应用于任何基于JVM的服务或应用。
Uber的需求是在运行在数以千计的机器上的成千上万应用的海量进程中操作相关性矩阵。在Uber的分布式环境下，同一台服务器中会运行很多Spark应用，而每个应用都有数千个执行器。他们现有的工具只能监控服务器级别的矩阵，而无法对单一应用进行监控。他们需要一个解决方案，使得对每个进程都可以收集其相关性矩阵，并对每个应用进行跨进程的相关性分析。
JVM Profiler有三个主要特性，可以简化对性能和资源使用状况矩阵的收集，然后将收集到的信息发布给其他系统（如Apache Kafka）用以进一步分析。
Java Agent：可以以分布式的形式在JVM进程上收集矩阵。 高级性能分析能力：可跟踪任意方法和参数，而无需对代码进行任何修改。可以识别Spark应用中耗时较长的方法调用，并检测HDFS文件路径中的热文件。 数据分析报告：可以通过Kafka topic和Apache Hive更快地进行数据分析。 JVM Profiler的设计很简单，但扩展性很强。用户可以自行添加其他的profiler实现，以收集更多的矩阵。这样，用户便可以添加自己的矩阵发布报告。
Uber关于JVM Profiler的博客中还包含了有关如何添加自定义报告器的内容，并介绍了如何使用此报告器来跟踪用户自己的应用。
Uber在其最大的Spark应用之一上使用了JVM Profiler，并发现这样可以在每个执行器上节约2GB的内存的分配——由原先的7GB降到了5GB。仅在这个应用上，JVM Profiler就可以为Uber节约2TB的内存。
Uber开源JVM Profiler，用以跟踪分布式Java虚拟机 https://blog.csdn.net/zhyooo123/article/details/82222163