使用 pyspark 从 teradata 中删除数据答案

【问题标题】：Delete data from teradata using pyspark使用 pyspark 从 teradata 中删除数据
【发布时间】：2021-01-16 01:39:30
【问题描述】：

我正在尝试从 teradata 中删除记录，然后写入表以避免重复所以我尝试了很多不起作用的方法

我在读取数据时尝试删除，这会在表和删除之间出现语法错误，例如 '(' spark.read.format('jdbc').options('driver','com.TeradataDriver').options('user','user').options('pwd','pwd').options ('dbtable','从表中删除').load()

也像下面这样尝试过，这也给出了语法错误，就像在 '(' 和 delete 之间预期的那样 options('dbtable','(从表中删除) as td')

2）我在写数据的时候尝试删除，但不工作

df.write.format('jdbc').options('driver','com.TeradataDriver').options('user','user').options('pwd','pwd' ).options('dbtable','table').('preactions','delete from table').save()

【问题讨论】：

标签： pyspark teradata aws-glue

【解决方案1】：

可能的解决方案是调用删除数据的过程。

import teradata

host,username,password = '','', ''
udaExec = teradata.UdaExec (appName="test", version="1.0", logConsole=False)

with udaExec.connect(method="odbc"
                     ,system=host
                     ,username=username
                     ,password=password
                     ,driver="Teradata Database ODBC Driver 16.20"
                     ,charset= 'UTF16'
                     ,transactionMode='Teradata') as connect:

    connect.execute("CALL db.PRC_DELETE()", queryTimeout=0)

【讨论】：