如何从 Synapse Spark 写入 Azure 搜索索引？

Question

如何从 Synapse Spark 写入 Azure 搜索索引？

Synapse 具有与 Azure 搜索的链接服务连接，但我找不到有关如何使用它的文档。

Answer 1

Azure 搜索有一个 Synapse 提供程序，但它不遵循常规模式。 这是代码。

dataFrame \
.withColumn('searchAction', lit('upload')) \
.writeToAzureSearch(subscriptionKey=TokenLibrary.getSecret('your-key-vault','azure-search-key'),
                    actionCol="searchAction",
                    serviceName='your-search-service',
                    indexName='your-search-index',
                    batchSize='1000',
                    keyCol="id");

神奇的列“searchAction”告诉 Azure 搜索如何处理“上传”、“删除”、“合并”或“合并或上传”。 keyCol 用于 upsert 或 delete。