Closed shasky2014 closed 6 years ago
表格式:
odps.Schema { log string # json格式日志内容 } Partitions { ds string # yyyymmdd hh string # hh mm string # mm }
一次处理一天的数据,不用再每一个分区处理一次吧? 怎么处理全部的当天的分区下所有子分区的数据呢?
SQL 或者 DataFrame 你就过滤 ds 就好了啊
嗯嗯,用这个方法确实好用,跟直接用api处理分区一样的。
with odps.execute_sql(get_dh_log_sql).open_reader() as reader: count = reader.count print(count)
表格式:
一次处理一天的数据,不用再每一个分区处理一次吧? 怎么处理全部的当天的分区下所有子分区的数据呢?