Open yintengfei opened 3 years ago
自定义RedisZsetReceiver, 读取指定zset结构内的数据piped.zrange(key, 0, -1)，该zset内数据只会新增，不会减少~ 当我提交任务后，定时执行，spark streaming ui上每个batch time处理的record都不同，还不是递增状态？如何能达到想要的效果？目前的目标就是每个batch，就把redis zset结构内的数据全部读取出来；spark streaming这种适合我的场景吗？
自定义RedisZsetReceiver, 读取指定zset结构内的数据piped.zrange(key, 0, -1)，该zset内数据只会新增，不会减少~ 当我提交任务后，定时执行，spark streaming ui上每个batch time处理的record都不同，还不是递增状态？如何能达到想要的效果？目前的目标就是每个batch，就把redis zset结构内的数据全部读取出来；spark streaming这种适合我的场景吗？