Azure IOT Apache Avro 格式

Question

使用 Azure IOT，我的设备端点指向 Azure Blob 存储。数据被发送到 Blob，但我得到非 ascii 字符，并被告知文件扩展名不正确。示例 Blob 数据为

Objavro.codecnullavro.schemaÐ{"type":"record","name":"Message","namespace":"Microsoft.Azure.Devices","fields":[{"name":"EnqueuedTimeUtc","type":"string"},{"name":"Properties","type":{"type":"map","values":"string"}},{"name":"SystemProperties","type":{"type":"map","values":"string"}},{"name":"Body","type":["null","bytes"]}]} ±¡RëZË8耑,¡…$• à82018-02-20T15:12:16.1060000Z $connectionDeviceIdLane4Free(connectionAuthMethodœ{"scope":"device","type":"sas","issuer":"iothub","acceptingIpFilterRule":null}8connectionDeviceGenerationId$636543931333384343enqueuedTime82018-02-20T15:12:16.1060000Z d{"deviceId": "myPythonDevice","PinsCCC": 302.00,\}82018-02-20T15:12:16.2000000Z

Azure IOT 文档说格式是 Apache Avro，但我找不到任何关于如何解码非 ascii 字符的信息。我看不到在哪里指定 json 扩展名。

Answer 1

好像是by designed。

您可以利用 Avro 工具读取或转换为 JSON 格式。

这是一个Python sample 来读取 Avro 文件。

Answer 2

从您最初的问题来看，您似乎需要从 ARVO 文件中读取内容。以下是使用 C# 从 Azure 存储中执行此操作的步骤：

1. 安装 Microsoft.Avro.Core nugget 包

1. 添加以下命名空间：

   using Microsoft.Hadoop.Avro;
   using Microsoft.Hadoop.Avro.Container;
   

2. 获取 AVRO 记录

   private async Task<List<AvroRecord>> GetAvroRecordsAsync(CloudBlockBlob cloudBlockBlob)
   {
       var memoryStream = new MemoryStream();
       await cloudBlockBlob.DownloadToStreamAsync(memoryStream);
       memoryStream.Seek(0, SeekOrigin.Begin);
       List<AvroRecord> avroRecords;
       using (var reader = AvroContainer.CreateGenericReader(memoryStream))
       {
           using (var sequentialReader = new SequentialReader<object>(reader))
           {
                 avroRecords = sequentialReader.Objects.OfType<AvroRecord>().ToList();
           }
       }
   
       return avroRecords;
   }
   

3. 从 avro 记录中反序列化对象：

   private MyObject GetMyObject(AvroRecord avroRecord)
   {
       var body = avroRecord.GetField<byte[]>("Body");
       var dataBody= Encoding.UTF8.GetString(body);
       var myObj= JsonConvert.DeserializeObject<MyObject>(dataBody);
       return myObj;
   }
   

希望这对你有帮助。