【摘要】本文将为大家带来Python连接presto开源的两个实践案例。

Python连接presto开源提供了以下两个库可以使用

presto-python-client:sto-python-client

pyhive:ve

接下来就来分别实践一下,这两种客户端。

环境准备

  1. 创建一台Ubuntu的ECS,VPC选择和MRS集群一致
  2. 下载安装apt-get,pip3,python3
  3. 安装MRS客户端

参考/usermanual-mrs/mrs_01_0091.html

遇到的报错:Error: Network time protocol(NTP) not running. Please start NTP first.

解决方案:sudo /etc/init.d/ntp restart

4. 在MRS Manager页面中系统设置>用户管理中创建的用户,并下载认证凭据,解压后,将krb5.conf和user.keytab放到/root目录下

数据库开发实战教程:使用Python连接Kerberos的Presto

5. 获取SSL认证凭据

将集群中的/opt/Bigdata/MRS_1.8.10/install/FusionInsight-ldapclient-2.5.0/ldapclient/local/cert/cacert.pem文件拷贝到Ubuntu的ECS的/root目录下

连接方式一:presto-python-client

(1)安装依赖

    • 安装pandas:

pip3 install pandas

    • 安装requests-kerberos:

sudo apt-get install python3-dev

sudo apt install krb5-multidev

pip3 install requests_kerberos

    • 安装presto-python-client

pip3 install presto-python-client

(2)编写代码

import prestodb
import os
from pandas import DataFrame
os.system('kinit -kt {}/user.keytab {}'.format('/root','sxy'))
 
conn=prestodb.dbapi.connect(
    host='192.168.0.194', #Presto Coordinator的ip
    port=7521,
    user='sxy',
    catalog='tpcds',
    schema='sf1',
    http_scheme='https',
    auth=prestodb.auth.KerberosAuthentication(config='/root/krb5.conf',service_name='presto',principal='sxy',mutual_authentication=False,ca_bundle='/root/cacert.pem')
)
 
cur = conn.cursor()
cur.execute('select c_first_name, c_last_name from customer limit 5')
df = DataFrame(cur.fetchall())
df.columns = ['First_Name', 'Last_Name']
print(df)

(3)运行结果

数据库开发实战教程:使用Python连接Kerberos的Presto

连接方式二:PyHive

(1)安装依赖

    • 安装requests-kerberos:

sudo apt-get install python3-dev

sudo apt install krb5-multidev

pip3 install requests_kerberos

    • 安装pyhive

pip3 install pyhive2. 编写代码

(2)编写代码

from pyhive import presto
 
presto_cli = presto.connect(
    host='192.168.0.194',
    port=7521,
    username='sxy',
    password='XXXX', # 创建用户时设置的密码
    catalog='tpcds',
    schema='sf1',
    poll_interval=1,
    source='pyhive',
    session_props=None,
    protocol='https',
    requests_session=None,
    requests_kwargs={
        'verify':'/root/cacert.pem'
    },
    KerberosRemoteServiceName='presto',
    KerberosPrincipal='sxy',
    KerberosConfigPath='/root/krb5.conf',
    KerberosKeytabPath='/root/user.keytab',
    KerberosCredentialCachePath=None, KerberosUseCanonicalHostname=None
)
c = presto_cli.cursor()
c.execute('show tables')
for i in c.fetchall():
    print(i)

(3)运行结果

数据库开发实战教程:使用Python连接Kerberos的Presto

那些踩的坑

  1. 用EulerOS镜像装requests-kerberos遇到一些XXX.h文件无法找到的问题

数据库开发实战教程:使用Python连接Kerberos的Presto

没有找到EulerOS下替代sudo apt-get install python3-dev,修复该问题的方法。转而使用Ubuntu。

2. SSL认证失败

数据库开发实战教程:使用Python连接Kerberos的Presto

出现以下报错的原因pem文件配置不正确

3. 401 Unauthorized报错

数据库开发实战教程:使用Python连接Kerberos的Presto

原因:Kerberos的四个相关参数(user, principal,krb5,keytab)配置错误。

校验参数的方法:用presto_cli工具登录客户端后执行show tables,若成功则,参数正确。

点击关注,第一时间了解华为云新鲜技术~

数据库开发实战教程:使用Python连接Kerberos的Presto

分类:

技术点:

相关文章: