2018-12-16 第十五周周报

[lxs137]

廖祥森

本周工作

• 杰士欣扫码功能的修改
• android测试项目：解决了本地socket超时的bug（原因是在websocket保持连接的同时重启了虚拟机）。修改了初始化时的hook位置，使得注册完后不重启也可hook到。
• nlp爬虫迁移：本来打算用helm，但mongo sharding没有相应的charts，而且已有charts的存储也不对，最后还是自己手动写部署的yaml文件。除了爬虫以外的其他服务都已经部署完成。

下周工作

• nlp爬虫迁移完成
• 在真机上把AndroidQL跑起来

[tsdjh]

钦明珑

本周工作

• 作业，备考

下周工作

• 作业，备考

[wdongyu]

王东宇

本周工作

进一步实现大数据平台更多的需求：

• 实现HDFS文件系统的持久化，保证重新部署的master和slaves节点仍然保存着原先的数据

• 为容器添加Spark框架，支持本地、Standalone和Yarn的运行方式

参考了Service Mesh社区中的博客，对动态更新有了一个大致的想法：

• 将微服务系统安装到Istio中，同时每一个Pod的labels中都带有type=normal的标签。当我们需要上线新版本时，可以为新版本的Pod的labels赋予type=grey的标签，然后定义VirtualService中的sourceLabels来对流量进行路由，从而完成我们动态更新一致性的基本需求：某一完整的事务调用链要么调用的都是旧版本的服务，要么都是新版本的服务

• 在将流量完整地从旧版本转移到新版本后(流量占比从100%-0%到0%-100%)，将Pod中的labels改回type=normal

• 目前Istio在Kubernetes集群上的安装出现问题，因此还没有能够将微服务部署到集群上。

下周工作

• 实现大数据平台上更多的需求

• 实现上述微服务动态更新的一个demo

想说的话

• 加油

[usernamehcx]

何城贤

本周工作

• 将kubernetes集群中的es版本更新到了6.2.2，解决了之前esbolt不支持es:6.2.2的问题，对于shellbolts实现了简单的窗口处理
• 将爬虫的调度更加细化，具体到一类爬虫的调度
• 在kubernetes集群上部署了Kafka，elasticsearch，Storm还尚未部署完成

下周工作

• 将之前在minikube上的部署的Storm集群，爬虫cronjob，以及一些定时任务迁移到新的kubernetes集群上，重新跑起来

想说的话

• 抓紧时间

[konnase]

李青坪

本周工作

• 逸夫楼k8s集群出了点状况，每次提交ddlp作业的时候都会使167因为OOM重启， @jetmuffin 清了一下k8s；kubelet挂了http_proxy，导致拿不到pod log，，光在捣鼓集群
• 18号mapreduce考试，还有一个实验和一个开题报告，故本周带着复习mapreduce跟完成作业

  下周工作

• 与 @usernamehcx 协作完成mapreduce实验，提交开题报告
• 探究将DRF应用到调度算法中的可行性

[jetmuffin]

陈洁

本周工作

• dlkit 增加了 training runtime 的 tensorboard；开放日志（不做鉴权）；支持提交 pytorch 任务；
• ddlp 修正了一些监控的数据，单节点提交多个 cpu worker 时会使宿主机的 lvm/systemd-udevd 这两个进程 oom，导致内核 crash 重启，猜测是容器（docker 或 kubernets 或 ceph 或 nfs） mount 上存在内存泄露的问题，暂时没定位到原因（重启后 dmesg 等内核的信息全清空了，kernel crash 太快）
• 在自己的台式机上部署了 mesos/yarn/k8s 三套调度环境，重新部署了之前的 datom，准备延续 datom 的工作；拉取了 alibaba 刚开放的 clusterdata，主要是混部的 trace，可以用在毕设跑实验时用

下周工作

• ddlp 和 @konnase 制定了要跑的一些 profiling，把这些 profiling 跑完
• dlkit operator/backend 端工作差不多了，配合王国畅把前端工作弄完
• 跑目前的一些调度器在混布场景下，best effort 任务的作业完成时间的实验

[NAP-GHJ]

葛红军

本周工作

• 修改了《基于动态UI模型的Android GUI自动化测试》专利
• 解决了微信小助手项目的一些小bug
• Android 测试系统：做了两个小demo，之后会继续进行第二个demo 1、基于uiautomatorviewer源码，定制了一个自己的工具, 集成了"XPath"表达式； 2、把分组的信息和UI信息展示到前端，完成完整的测试平台
• Android 测试论文: 思考了使用强化学习(在思考用什么作为奖励)的方式来指导分组后的模型，假设组表示G = {W0,W1,W2,…Wn}，其中W0\~Wn表示该组包含的元素; GUI状态表示为S = {G0,G1,G2,…,Gn}，其中G0\~Gn表示该状态下的组。由于不同状态的”复杂度“不一样，在探索过程的优先级也是不同的, 用一个合理的方式将每个组的状态复杂度表示为 1 ~ logn，状态的复杂度表示为组的复杂度之和，计算得到”复杂度“，作为发现该状态的”组“ 的奖励。(现在想法还不是很成熟，还在进一步思考，还需要讨论一下)

下周工作

• 继续上述工作

[njuywy]

叶炜煜

本周工作

• 了解了Kubernetes Operators的原理和机制，对已有的Etcd Operator和Prometheus Operator这两个例子进行了学习，和@Toydi一起在集群上部署了etcd operator。

下周工作

• 继续学习Kubernetes Operators，对我们下阶段的任务进行进一步了解。