我正在尝试使用 Spark JDBC 连接以从 Teradata 提取数据。我在主父目录上创建了一个“lib”目录，并放置了外部 Teradata jar 并运行了 sbt 包。此外，我还在我的 spark-shell 命令中提供了“--jars”选项来提供 jar。但是，当我运行 spark-shell 时，它似乎找不到类
Exception in thread "main" java.lang.ClassNotFoundException: com.teradata.hadoop.tool.TeradataImportTool
但是，当我对 jar 文件执行“jar tvf”时，我看到了该类。不知何故，Spark 实用程序无法找到该 jar。我还需要做什么才能让 Spark 找到它吗？请帮忙
【问题讨论】：
标签： apache-spark teradata
这个特定的类com.teradata.hadoop.tool.TeradataImportTool 在teradata-hadoop-connector.jar 中
您可以在提交作业时尝试通过，如下例：
--conf spark.driver.extraClassPath complete path of teradata-hadoop-connector.jar
--conf spark.executor.extraClassPath complete path of teradata-hadoop-connector.jar
或
将 jars 导入驱动程序和执行程序。因此，您需要编辑conf/spark-defaults.conf 在下面添加两行。
spark.driver.extraClassPath complete path of teradata-hadoop-connector.jar
spark.executor.extraClassPath complete path of teradata-hadoop-connector.jar
注意：您可以使用 uber jar is also known as fat jar 即 jar 有依赖关系。以及避免这种情况的替代方法 问题
【讨论】：