TODO

[ISheepp]

此issue记录自己的每日TODO-list，做好自己

[ISheepp]

• [ ] 收衣服
• [x] 周记
• [x] 看书、看Redis视频
• [ ] 修改ppt

[ISheepp]

• [ ] ppt加备注
• [ ] 看书、Redis 地图数据结构

[ISheepp]

• [ ] ppt加备注、并模拟演讲
• [x] 看书、学习Redis Geospatial和Bitmap

[ISheepp]

• [x] 目标管理卡，本月自评和次月新建
• [ ] ppt...
• [ ] sofa-stack学习
• [x] 数据链路bug整理

[ISheepp]

• [x] 寻找文海南路-滨康路折中点 的 饭局
• [ ] 编写mdvideo使用指南
• [ ] Redis视频
• [x] 打扫房间

[ISheepp]

• [x] ppt整改
• [ ] redis
• [ ] mdvideo

[ISheepp]

• [x] 数据源更新的唯一性校验问题
• [x] 数据统计分析es查询语句优化
• [x] 选择时间范围为一个月时，会报找不到4周前的es索引错误
• [x] 更新数据质量等级
• [x] 数据链路详情页链路日志分页问题
• [x] 删除任务时同时删除数据质量监测指标
• [x] 数据源测试 成功才可以保存

[ISheepp]

• [ ] redis视频
• [ ] ppt
• [ ] juc包整理

[ISheepp]

• [x] 翻译给年轻人的66条建议
• [x] 看书
• [ ] ppt
• [x] 练核心、猫拱背

[ISheepp]

• [x] ppt
• [ ] 周记
• [x] 数据链路缺陷解决
• [x] 完善kafka conenctor创建的配置检查

缺陷

1. 分页参数，pageSize -> size
2. 链路日志时间range

[ISheepp]

• [ ] 周记

[ISheepp]

• [x] 脚注测试Here is a simple footnote[^1]. With some additional text after it.

[^1]: My reference.

[ISheepp]

• [x] 周记
• [x] 打扫卫生
• [x] 换被子
• [x] 雨伞🌂

[ISheepp]

• [x] 技术支持
• [ ] 链路bug查询（无法发送转换日志）
• [x] 排查无法发送带有payload和schema的数据格式

[ISheepp]

• [x] 链路extract发送日志延迟特别高
• [x] 无法发送正确的转换日志

[ISheepp]

• [x] 转换日志 taskName排查
• [x] 任务拆解

[ISheepp]

• [x] 周记
• [x] 雷达日志发送（JSON解析问题）
• [x] 日志未带上deviceId
• [ ] 转换阶段带上deviceId
• [x] websocket发送数据带上schema和payload

[ISheepp]

• [x] websocket处理payload
• [x] websocket传进来的时间戳增加判断（10位就补0）
• [ ] Map的merge方法

[ISheepp]

• [x] 测试链路完整情况
• [ ] 数据接入文档编写
• [x] 查询视频延时接口
• [ ] 转换包心跳接口

[ISheepp]

• [x] 数据接入文档
• [ ] 转换包心跳接口
• [x] 周记

[ISheepp]

• [x] 转移算法中台和数据中台到itt
• [ ] web3j文档
• [x] 转换包心跳接口

[ISheepp]

• [x] kafka consumer 不消费数据[^1]
• [x] 测试算法包Action

[^1]: 报错信息：Unsubscribed all topics or patterns and assigned partitions, 消费者组重平衡....

[ISheepp]

• [x] 测试转换包转换数据[^1] [^2]

[^2]:data-process.schema-ignore:false 配置导致sink的topic没有schema和payload

[ISheepp]

• [x] 链路运行过程中再次创建一个新的链路 同样的转换包，可能会造成LOAD日志不发送
• [x] 链路延时查询失败
• [ ] poolz白名单
• [x] airpods清洁

[ISheepp]

• [x] 大脑数据接入es 查询接口
• [ ] 日志查询改造
• [x] 开发电报机器人

[ISheepp]

• [x] 周记
• [x] 大脑接口测试
• [ ] 柱状图逻辑优化
• [ ] 日志发送修改
• [x] 转换包心跳接口调整参数

[ISheepp]

• [ ] kafka connect TASK is UNASSIGNED排查
• [x] 大屏上传视频添加字段
• [x] 大屏大容量视频上传失败问题解决[^1]

[^1]: 使用IOUtils.copy()方法way 问题：java.io.IOException: Broken pipe

[ISheepp]

• [x] 拜占庭容错
• [ ] ethereum&bitcoin white paper
• [ ] golang
• [x] 在转换阶段发送前端设备日志
• [x] 转换包示例
• [ ] 构造一个自定义序列化、反序列化器
• [ ] 再理解什么是AMM

[ISheepp]

• [x] es查询柱状图信息逻辑修改(在内存处理实现)^1
• [x] 展厅大屏视频上传将排序字段改为Double

[ISheepp]

• [x] 图表查询性能优化 ^1
• [x] 测试数据源（jms）

[ISheepp]

• [ ] 清空阅读清单

[ISheepp]

• [x] 整理web3.0方向^1
• [ ] 阅读ethereum white papar
• [ ] DAO阅读文献

[ISheepp]

• [x] 驾驶舱
• [ ] kafka-connect-jms gradle项目打包（支持rabbitMQ）
• [x] 配置数据源文档（jms）
• [ ] 修改模板表
• [x] 调整kafka connect参数配置^1
• [ ] 周记
• [x] 修改数据源配置展示表格内容和搜索条件
• [ ] 阅读filcoin存储系统，分析如何实现去中心化存储

kafka connect两个问题

[2021-11-29 10:15:43,864] ERROR [source:拥堵态势测试|task-0|offsets] WorkerSourceTask{id=source:拥堵态势测试-0} Failed to flush, timed out while waiting for producer to flush outstanding 1 messages (org.apache.kafka.connect.runtime.WorkerSourceTask:500)
[2021-11-29 10:15:43,864] ERROR [source:拥堵态势测试|task-0|offsets] WorkerSourceTask{id=source:拥堵态势测试-0} Failed to commit offsets (org.apache.kafka.connect.runtime.SourceTaskOffsetCommitter:116)

---

sink task
Commit of offsets threw an unexpected exception for sequence number
org.apache.kafka.clients.consumer.CommitFailedException: Offset commit cannot be completed since the consumer is not part of an active group for auto partition assignment; it is likely that the consumer was kicked out of the group.

添加了两个参数，在source任务中添加flush.timeout.ms=30000(默认是10000ms)，在sink任务中添加batch.size=500

[ISheepp]

• [ ] 周记
• [x] 如何安装kafka集群和kafka connect集群
• [x] 编写操作手册（数据库监控，链路监控）

[ISheepp]

• [ ] 白皮书 bsc
• [ ] Tencent智慧交通白皮书
• [x] 以新的形式 改造websocket-client 来发送雷视拟合助手的日志

[ISheepp]

• [x] 检查sofa-ark日志不显示的问题

[ISheepp]

• [x] 周记
• [x] 寻找行业代表website
• [x] star shark

[ISheepp]

这周老实呆家里

• [x] AMM算法
• [ ] uniswap whitepapar
• [x] solana

[ISheepp]

• [ ] 查询链路最近10条的情况
• [x] 将展厅大屏jar包注册为service设置开机启动

[ISheepp]

• [x] 数据接入环境调整 34
• [ ] sh service设置

[ISheepp]

• [x] AMM总结、举例
• [ ] its & blockchain
• [ ] whitepaper

[ISheepp]

• [ ] Netty bytebuf内存泄漏
• [x] slidev ppt

[ISheepp]

• [x] 稳定34集群
• [x] 整理数据中台需求
• [ ] ppt
• [x] es集群
• [x] 周记

[ISheepp]

• [ ] 分析白皮书（Solana）
• [x] 周记
• [x] CB\BN\OKEX\FTX币种上新研报

[ISheepp]

• [x] 理解驾驶舱表结构和文件系统需求
• [x] 设置ide setting repository
• [ ] 阅读白皮书

[ISheepp]

• [x] 展厅大屏视频上传问题
• [x] 自测文件系统
• [ ] 记录两个问题1. BeanUtils.copyProperties() 2. @Transactional
• [ ] 防盗链问题
• [ ] 内网接入
• [x] aop
• [ ] 探索文件系统权限控制

  失败的2021终于要过去了 迎接失败的2022