cjuexuan / mynote

237 stars 34 forks source link

换工作阶段性总结 #78

Open cjuexuan opened 2 years ago

cjuexuan commented 2 years ago

一个阶段性总结,我打算用FAQ的形式来说一下最近发生的事情 Q:为什么会选择离开前司 A:两个原因,一是最近一年个人经济压力比较大,二是最近进入到很明显的职业瓶颈期,希望换个环境突破下

Q:什么样的职业瓶颈期 A:在过去几年,每年我们团队都会有一些大的Feature交付, 2016 XQL1.0上线 2017 Spoor1.0上线,XQL2.0多实例上线 2018 接手了调度和可视化,Panda&Unicorn1.0上线,在吸取了XQL的经验后,我们在架构设计上一开始就对高可用做了很多设计,所以交付后还是很满意 2019 XQL3.0上线,我们重构了老的系统,支持了更大规模的Akka Cluster集群,支持了SQL的标签化流量分发,虽然因为我们的存在没有及时的发展Persto,Flink也发展的一般,但从侧面来说,我们的东西还是解决了当时的问题 2020 Tuning&Smart Rewrite发布,从计算来说,我们对Spark的降本增效走出了第一步 2021 数据价值1.0发布,我们探索了如何评估业务方的资源消耗 这说明我们的创造力和自驱力都在 但是很遗憾,最近一年,我们没有开发出那种令人兴奋的Feature,这是一个很危险的信号 同时,我切换到大数据的Infra团队,我对我在Infra这一块的工作也只能打一个及格分,可能个人兴趣爱好中更多的还是做系统设计,而不是更底层的支撑

Q:那你最近一年主要做了些什么事情 A:最近一年受到大环境的影响,基本都在做降本增效的事情 其实大家做的思路应该都差不太多

  1. 对于存储,选择更廉价的存储(对象存储),更激进的生命周期覆盖
  2. 对于计算,底层做超分超卖,计算层做压缩改进,流量层做弹性扩缩容
  3. 对于硬件,做一些混部和改造

Q:那你这次换的工作 A:我选择了字节的数据引擎Spark SQL组,目前刚工作一周左右

Q:为什么会选择这个机会 A:主要有几个考虑

  1. 希望去一个大厂学习一下,我希望自己reset到2016年加入喜马拉雅的状态,当成一段新的学习成长&创业的机会
  2. 同样是降本,由于规模化的原因,相同的一个优化在大厂的收益会显著高于中小厂
  3. 字节在大力发展云的业务,个人对ToB赛道也感兴趣,这有助于摆脱中台工具人的角色,直接价值显性
  4. 薪资涨幅符合预期

Q:面试字节做了哪些准备 A:首先sam在喜马的时候,我的自我发展和公司发展都在预期内,我已经6年没面试过了,字节是我面试的第一家公司,我是抱着练手的心态面的,心态上非常放松,因为确实没抱有太大的预期, leetcode我大概做了不到50题就开始面起来了,当然在职面试的心理压力还是要显著低于裸辞后的面试 我面试时间基本选的是晚上8:00,第一场面试应该是7月初,一共经历了4轮技术面和1轮hr面试,由于我自己的原因,持续了1个月左右,8月中拿到了offer,本身面试流程还可以缩短,最快应该2周可以搞定 第一场的时候,大概5分钟才进入状态,自我介绍我也不太满意,最后算法题也比较卡,但是还是提炼下做的好的地方吧

  1. 写一个清晰整洁的简历
  2. 算法题有了思路可以先和面试官沟通思路,不要埋头写题,卡住太久可以主动寻求帮助,我们日常工作中帮助他人和寻求他人帮助也是非常常见的技能,面试时也要发挥一下
  3. 简历&项目介绍通过指标和数据支撑自己的工作成果,这种比较容易量化产出,比只列出Feature要好一些
  4. 对于能突出实现难度的事情一定要介绍清楚,举个例子,XQL是一个long running的服务,类似sts,这种服务通常都会遇到内存泄漏,面试官可能问你如何解决的 虽然我们最终是通过无损重启解决的,但是借这个机会,可以介绍下XQL的架构,流量模型,以及如何做到了重启流量无损,包括常见的内存泄漏发生在哪些场景(例如Spark Driver collect数据) 我们除了重启还做了哪些优化(借助hdfs做结果落盘,driver职责轻量化,gateway直接拿落盘结果,parquet-client优化等),这应该显著好于直接回答重启

Q:为什么做这个复盘 A:阶段性的总结有助于增加对自己的认识,当然这不是最重要的,最重要的是通过这个介绍,活跃下气氛,我们大组还在招人,欢迎感兴趣的小伙伴私我,Spark SQL&数据湖方向均有大量HC,Base可选北京/上海/杭州

gcnyin commented 2 years ago

“没有开发出那种令人兴奋的Feature”,背后的原因是什么呢。

cjuexuan commented 2 years ago

“没有开发出那种令人兴奋的Feature”,背后的原因是什么呢。

  1. 降本压力很大 基本精力都投在这个上
  2. 领导和合作伙伴陆续离开 内心开始没那么平静
  3. 个人自驱力在这种环境下还有所欠缺
da-liii commented 2 years ago

我觉得应该拥抱一下现代数据栈,继续深入做Spark SQL/Hadoop有点无聊。

gcnyin commented 2 years ago

我觉得应该拥抱一下现代数据栈,继续深入做Spark SQL/Hadoop有点无聊。

modern data stack那套?

https://www.moderndatastack.xyz/

cjuexuan commented 2 years ago

我觉得应该拥抱一下现代数据栈,继续深入做Spark SQL/Hadoop有点无聊。

对于未来做什么,到底是横向还是纵向发展,我自己也纠结了很久,我自我认识我自己是横向知识面还可以,学的东西比较多比较杂,在协调推动和目标感也还不错,但是在细分领域其实做的不算深入,所以刚好有一个合适的机会能到更细分的团队做事情,对我来说也有新鲜感,综合后选择了这个机会