将文件从 SFTP 传输到 ADLS

Question

我们目前正在探索sshj 库以将文件从 SFTP 路径下载到 ADLS。我们使用example 作为参考。

• 我们已经将 Databricks 中的 ADLS Gen2 存储配置为作为abfss URL 访问。

• 我们在 Databricks 中使用 scala。

1. 我们应该如何在获取步骤中将abfss 路径作为FileSystemFile 对象传递？

   sftp.get("test_file", new FileSystemFile("abfss://<container_name>@a<storage_account>.dfs.core.windows.net/<path>"));
   

2. 目标应该只是文件路径还是带有文件名的文件路径？

Answer 1

使用流。首先获取源SFTP文件的InputStream：

RemoteFile f = sftp.open(sftpPath);
InputStream is = f.new RemoteFileInputStream(0);

(How to read from the remote file into a Stream?)

---

然后在ADLS上获取目标文件的OutputStream：

OutputStream os = adlsStoreClient.createFile(adlsPath, IfExists.OVERWRITE);

(How to upload and download a file from my locale to azure adls using java sdk?)

---

然后从第一个复制到另一个：

is.transferTo(os);

(Easy way to write contents of a Java InputStream to an OutputStream)