Python和Pandas用于读取Hive数据

0 引子

目前希望在Python服务端实现从Hive数据库读取数据的功能。起初以为这会比较简单，但结果发现必须支持两种不同的操作系统环境：Linux用于部署和Windows用于开发。为了满足这一需求，稍微花了一些时间去探索和尝试各种解决方案。

1 支持hive的第三方包

上网查阅了一些资料后发现，在Hive数据库与Python之间建立数据连接的第三方库主要包括pyhive、pshs2以及impala这几款软件。

GitHub相关链接
Python Hive对应 GitHub 上的 pyhive 项目地址：https://github.com/dropbox/PyHive
Python HSQLDB 2（pyhs2）对应 GitHub 上的 Brad Ruderman 开发的项目地址：https://github.com/BradRuderman/pyhs2
Python Impala具体实现细节请参考 GitHub 上的 cloudera 开发的 impyla 项目地址：https://github.com/cloudera/impyla

但是pyhs2的作者已经停止维护了，所以可以使用另外两种方式。

2 使用pyhive连接hive

pyhive的文档很详细，要注意的有两点：

1. 在安装过程中出现SASL安装失败的错误提示时，请您自行从UCI镜