【问题标题】:Are communications with a Spark Thrift server in binary mode transmitted securely?以二进制模式与 Spark Thrift 服务器的通信是否安全传输?
【发布时间】:2019-12-16 20:17:46
【问题描述】:
在我的组织中,我们有一个使用 HTTP 和 SSL 的 Spark Thrift 服务器设置,因为有一个基本假设是二进制模式没有通过网络安全加密,因此可能会泄露凭据或敏感查询数据。
我有Googled,扫描阅读了一篇研究论文并查看了 Thrift 协议规范以寻找明确的答案,但无济于事。似乎完全没有提及身份验证和加密意味着它应该由一个封装网络层来处理?
二进制模式下的 Spark Thrift 服务器传输未加密或其他不安全数据的假设是否正确?
【问题讨论】:
标签:
ssl
thrift
thrift-protocol
spark-thriftserver
【解决方案1】:
Thrift 协议确实包含低级传输:
在 Spark Thrift 服务器的上下文中,这可以在 hive-site.xml 文件中启用,如下所示:
<property>
<name>hive.server2.use.SSL</name>
<value>true</value>
</property>
结合默认的 TCP Thrift 协议,这确实加密了 thrift 协议流量。没有很多明确的文档,但是由于 Spark Thrift 服务器是 Hive2 服务器的一个分支,我发现了这个 about setting up a Hive2 server 这意味着这是可能的:
最后一个问题似乎是某些工具,尤其是 Power BI,似乎无法将 SSL 用于“标准”(TCP Thrift 协议)连接。