aliyun / aliyun-odps-python-sdk

ODPS Python SDK and data analysis framework
http://pyodps.readthedocs.io
Apache License 2.0
434 stars 97 forks source link

如何一次读取多个分区? #77

Closed shasky2014 closed 6 years ago

shasky2014 commented 6 years ago

表格式:

odps.Schema {
  log   string      # json格式日志内容
}
Partitions {
  ds    string      # yyyymmdd
  hh    string      # hh
  mm    string      # mm
}

一次处理一天的数据,不用再每一个分区处理一次吧? 怎么处理全部的当天的分区下所有子分区的数据呢?

qinxuye commented 6 years ago

SQL 或者 DataFrame 你就过滤 ds 就好了啊

shasky2014 commented 6 years ago

嗯嗯,用这个方法确实好用,跟直接用api处理分区一样的。

with odps.execute_sql(get_dh_log_sql).open_reader() as reader:
    count = reader.count
    print(count)