SummerXinBing
commented
1 month ago 社区初始数据生产
穿搭社区帖子生产
- 最终需要生产什么数据，其中有什么过程数据？ 用户发帖，需要用户上传一些照片、发一些文字之类，那么生产数据的过程，怎么去处理？
- 如何生产？
- 如果模拟c端用户链路，能不能复用C端的方法？
- 复用C端方法话，如何解决在一个链路中，两个应用读写一致的问题；
问题1：生产帖子数据，以穿搭社区为例，需要其他三个表，且将生产的帖子数据挂在指定的一批马甲号上；数据分为固定数据，可配置数据。第一阶段，先生产固定数据，然后Excel导出；第二阶段，运营配置相关数据，文字、点赞数等，上传Excel导入数据； 问题2、3：简化、模拟C端链路，依次调用3个rpc接口，且3个rpc接口有依赖关系（即rpc1的结果作为rpc2的入参，rpc2的结果作为rpc3的入参）; rpc方法是domain层的方法，将其包装成HSF接口()； 读写一致： 在C端rpc结果消费处，写后续逻辑，对相关数据做更新操作；不好，违反软件设计的单一性原则 将第一阶段拆分两个操作，提交&开始任务；
引申： redis和mysql怎么处理数据的双写一致性 原则：更新数据库，是删除旧缓存，而不是更新缓存； 方案一：监听binlog异步去删除缓存；
社区冷启动
社区初始数据生产 穿搭社区 写真社区 数据生产
社区功能 发帖、点赞、评论 推荐、搜索
社区运营 数据打标：标签、话题、池子、热度值（热度值回流） tab下：排序、置顶、移除
妙鸭前期
数据库设计 基础链路 照片上传 -> 数字人训练 -> 推理 日志系统 BI系统 sls -> tt -> 日志小时表 -> 日志清洗，在创建新表 -> BI读新表 告警系统 sunfire -> 日志读取 -> 统计成功率 前置条件：标准的日志打印