aliyun / aliyun-odps-python-sdk

ODPS Python SDK and data analysis framework
http://pyodps.readthedocs.io
Apache License 2.0
434 stars 97 forks source link

PyODPS DataFrame的MapReduce API会提交到后端分布执行吗?还是只在本机执行? #81

Closed albin3 closed 6 years ago

albin3 commented 6 years ago

如题,PyODPS DataFrame的MapReduce API是否会提交到后端集群执行?找了下原码,没看到提交到后端的代码。。

对应的文档在这: https://pyodps.readthedocs.io/zh_CN/latest/df-sort-distinct-apply.html#mapreduce-api

qinxuye commented 6 years ago

会提交到 MaxCompute 执行。

只要是来源是 ODPS table 的 DataFrame 都会提交到服务端执行,包含所有文档中提及的 API。

albin3 commented 6 years ago

ok~,多谢,麻烦文档里明确一下哈,因为搜到的python写mr的资料比较少,odps官方文档里也只有java的mr介绍。。