2018-12-23 第十六周周报

[lxs137]

廖祥森

本周工作

• 新服务器ESXI网络及其他环境的搭建；遇到了一个adb命令阻塞的问题，对于原因通过阅读adb的源码有了几个猜想，需要做实验，但还没成功单独编译adb
• nlp爬虫迁移：主要是熟悉了一下kubernetes上各种服务的部署

  下周工作

• 单独编译adb，调试adb block的问题
• 有两门考试需要准备

[Benjamin15122]

王国畅

本周工作

• dlkit前端按要求做了面包屑和UI调整，并链接后台接口实现从前端运行任务
• 做了一个elasticSearch的前端demo，使用elasticSearch.js的6.5api实现了范围查询和多关键字查询

  下周工作

• 两门考试一篇论文

[wdongyu]

王东宇

本周工作

进一步实现大数据平台更多的需求：

• 打包相关镜像，支持Spark任务在kubernetes集群上运行，但不能看到完整的任务执行结果

• 实现web shell功能，通过浏览器可直接进入相关容器的shell

下周工作

• 实现大数据平台上更多的需求

• 对微服务动态更新中的事务概念有更深的理解

想说的话

• 加油

[usernamehcx]

何城贤

本周工作

• 将之前在minikube上的部署的Storm集群，爬虫cronjob，以及一些定时任务迁移到新的kubernetes集群上，重新跑了起来
• 研究了storm关于窗口划分的机制，实现了一个基于tickTuple的时间窗口

下周工作

• 继续熟悉storm的各个特性
• 准备两门考试

[tsdjh]

钦明珑

本周工作

• 作业，备考

下周工作

• 作业，备考

[jetmuffin]

陈洁

本周工作

• dlkit 修复了一些 bug，配合前端提供了一些 API，准备了演示的 mnist/board 的 demo。
• 在 167 集群把 spark on mesos/yarn/kubernetes 三套环境准备好，重新编译了原来的 datom，并准备了 HiBench 的实验环境，整理了下混部场景的思路
• 读了 OSDI'18 的文章 LegoOS，将操作系统的内核拆分成多个组件，放在跨宿主机的多个节点上以实现资源的高容错和调度的细粒度；ATC'18 的文章 PerfIso，不经过 cgroup 的调度器，通过动态调整 LRS 和 BE 的绑核来实现混布的隔离（BE 绑部分核，LRS 跨所有核）

下周工作

• dlkit 配合前端继续调整
• 根据毕设想法写一些实现代码

[konnase]

李青坪

本周工作

• 与 @usernamehcx 一起完成mapreduce课程基于spark的第五次实验
• 看了tensorflow框架层面的一些东西
  • 图内复制：用一个client来生成单个tf.Graph，数据要进行切分
  • 图间复制：每个worker上都有独立的client，并有完整的tf.Graph的副本
• Baidu Silicon Valley AI Lab在GTC 2017上提出了allreduce的实现算法
  • 一次reduce过程（N-1次参数传递）中，每个worker发送的参数数目是与N无关的（N表示worker数目）
• tensorflow benchmark源码阅读

下周工作

• 接上万兆网之后测一组gpu上的实验
• tensorflow训练过程的源码