2018-11-04 第九周周报

[lxs137]

廖祥森

本周工作

• xposed：使用tmpfs还是不行（需要添加关机前和开机后的数据拷贝脚本，而且速度也不快），还是查数据库一条一条清理。考虑了三个方案，需要讨论一下。
• 龚亿通信：业务模式方面和杰士欣很不一样，没有可以复用的地方，而且需要添加一个BPM部分，应该还是用Activiti；财务模块基本一致。重构打算，套用sinosteel的前后端，但数据库还是用mongo；或者使用sinosteel的前端，但去掉redux，后端基于nestjs(原生TS，基于注解，和spring有一点像)开发。
• 大数据比赛：只讨论了一下，实验没怎么动手，主要是王东宇在弄。

下周工作

• 大数据比赛收尾，时间比较紧张，抓紧时间弄完
• 有两个课程的任务要完成，一是软件工程研究导引的讲论文，二是分布式算法的论文读书报告

[tsdjh]

钦明珑

本周工作

• 完成hadoop第二次大作业
• 提交图形学大作业的月进度报告
• 继续学习swift官方文档两章，并复习Initialization至Extensions章节
• 下节软件工程研究导引课要讲的论文看了一半
• 复习深入理解计算机系统二三两章内容

下周工作

• 完成hadoop第三次大作业
• 看完论文并做ppt
• 学完swift官方文档剩余4章
• 学习深入理解计算机系统第四章

想说的话

• 加油

[wdongyu]

王东宇

本周工作

• 完成程序分析测试课程的阶段性作业 ---- 抽象语法树的生成与比较

• 读了Envoy官方文档中关于服务发现等部分的内容，大致理解其原理：每个Envoy在部署时，将其附属的服务写入到对应的配置文件中，然后开放若干的端口并进行监听；当本地的服务产生调用时，会将对应的请求发送到对应的端口，由Envoy执行一系列的filter规则之后，再转发出去。

• 大数据比赛对各个平台收集到的评论进行情感分析，初步结果并不理想，需要寻找更好的词典和更好的关键词提取办法(本机调试安装pip3环境耗费了一段时间)

下周工作

• 下周软件工程导引和分布式算法课程都需要阅读相关论文

• 大数据比赛下周截止，抓紧弄出结果

• Envoy的源代码有些难以入手，得多和学长讨论讨论

想说的话

• 加油

[Benjamin15122]

王国畅

本周工作

• 为workspace页面添加了GET POST DELETE接口

下周工作

• 调试全部接口
• 有选择地通读Kubernetes文档中的概念，基础，结构和设计文档部分

想说的话

• 抓紧时间

[usernamehcx]

何城贤

本周工作

• 实现了KafkaSpout以及ElasticSearchBolt配置，使得爬虫爬取的数据能通过Kafka导入Storm实时框架，进行了一些简单的操作处理，最后导入到ES
• 在虚拟机上搭建了storm集群环境，但只在两台虚拟机上部署了storm(另外的两台虚拟机出现了Network is unreachable 问题，无法通过ssh登录)，之前部署在虚拟机上的mesos需要再重新部署
• 完成了MapReduce课程的第二次实验

下周工作

• 修改情感分析，实时监控等算法，并在现搭建的storm集群上把算法跑起来
• 在虚拟机上重新部署mesos集群环境

想说的话

• 抓紧时间

[wazxser]

王月欢

本周工作

• 看完了李沐首次提出ps架构的那篇论文
• 看了一些kubernetes的官方文档，了解了一些基本概念
• Optimus源码，还没理清楚代码逻辑

下周工作

• 尽快把Optimus代码看完

想说的话

• 这周主要都在跑实验和写作业了，时间利用效率不高，进展比较慢

[jetmuffin]

陈洁

本周工作

• DLKit 重构，用 CRD 管理 workspace 和 dataset 的生命周期，写了一个 notebook kernel 连接kubeflow，workspace 运行训练任务接到 notebook kernel，提供了 RESTful 接口。
• gluster 集群元数据有问题，申请的存储资源未释放导致之后申请的 PVC 出现 no disk space 问题，花了些时间重建调整了下。prometheus 的监控数据存储也受到影响，还在恢复。
• Optimus 的 Measure Speed 过程是跑在 MXNet 上的，尝试通过 distributed tensorflow 复现 Optimus 的结论，还未成功。
• 花了一天时间去面试。

下周工作

• 写一个进程级别的 cgroup perf event 数据采集的工具，分析下 Optimus 单节点多 worker 时出现瓶颈的资源。
• 继续写 DLKit

[konnase]

李青坪

本周工作

• 得到几组观测数据
  • ps单独放一台机器，两个worker放一台机器：发现每个worker平均训练速度只有12 samples/s，但是最高速度可以达到35 samples/s
  • 利用mnist数据集测了一下训练速度，发现多个worker并置于一台机器上依然存在冲突，排除了数据集不同对worker并置的影响
• 与何城贤合作完成MapReduce第三次实验
• MXNet实现细节
  • 提到无需重启便可增加和删除ps、worker，由scheduler调度完成

下周工作

• 配合陈洁师兄完成cgroups数据采集工作，尝试由scheduler直接动态扩展ps和worker的数目

想说的话

• 加油

[DavidHux]

胡翔

本周工作

质监项目

• 尝试从企业表中提取特征对产品进行分类，使用logistic regression分类器，实验结果正确率在0.55。分析原因是去除了之前在已检测产品上使用的特征，现有特征区分度较小。
• 对数据重新做了一些检查和处理，准备使用股东和法人两个关系在构建一个网络，进行实验，网络可能较小。

下周工作

• 尝试使用其它分类器进行实验，如神经网络等
• 重新做一些网络表示学习的实验，感觉很难做出结果

[njuywy]

叶炜煜

本周工作

• 通过对Prometheus Go client library代码的阅读，采用其提供的HTTP API接口，从而实现获取到http://prometheus.njuics.cn/ 上的node数据。
• 准备博士课程：计算机科学与进展上报告的presentation。

下周工作

• 明确节点资源和任务资源在Prometheus中存储的数据，对各个数据的获取进行封装。

[Toydi]

邱睿

本周工作

• 对于prometheus采集到的"节点已使用资源、剩余可用资源”等数据，实现了相应的接口，将采集到的原始数据转换成我们需要的数据，本周主要实现了内存部分的资源接口的编写，包括节点的已用内存，总内存，剩余内存的资源信息。
• 阅读了prometheus client_golang项目和相关文档。

下周工作

• 对Prometheus中存储的各类资源数据进行封装，完成接口的编写。
• 和陈洁学长讨论下一步计划