Advertisement

自定义函数使用PyODPS的DataFrame结合pandas、scipy及sklearn

阅读量:

背景

PyODPS DataFrame 为操作 ODPS 数据提供了与 pandas 类似的接口,同时亦可在本地环境中调用 pandas,并与使用数据库来执行进行配合。

PyODPS DataFrame 不仅具备与 pandas 相近的 mapapply 方法,还引入了 MapReduce API 机制,用以拓展 pandas 的语法结构,从而更好地适配大数据处理场景。

PyODPS 中的自定义函数会被序列化后传输至 MaxCompute 平台执行

全部评论 (0)

还没有任何评论哟~