UTF-8 不适用于将 byte[] 转换为字符串

Question

我在 H-Base 表的行中有一个限定符（长值类型）。

我想获取两个长数字之间的 H-Base 行。为此，我使用以下过滤器。

我的过滤器是这样的：

long startEpochInDay = 384;

long endEpochInDays = 396;

string startDayFilter = "SingleColumnValueFilter('" + cf + "','" + qualifier + "', >= ,'binary:" + Encoding.UTF8.GetString(HBaseGenericHelper.GetBigEndianByteArray(startEpochInDays)) + "',true,true)";

string endDayFilter = "SingleColumnValueFilter('" + cf + "','" + qualifier + "', < ,'binary:" + Encoding.UTF8.GetString(HBaseGenericHelper.GetBigEndianByteArray(endEpochInDays)) + "',true,true)";

string finalFilter = startDayFilter + " AND " + endDayFilter

这些过滤器在数字小于 383 时工作正常，但如果数字大于此数字则失败。

我在调试时发现，将长数转换为字节数组时，它返回的字节数组类似于 \0\0\0\0\0\0\1\128。

当字节数组中的最后一个数字为 127 或更少时，UTF-8 工作正常，但随着该数字变为 128 或更大，UTF-8 开始返回 "?" 最后一位。

如果我使用以下方法将字节数组编码为字符串

Encoding encoding = new UTF8Encoding(true,true);
string number = encoding.GetString(HBaseGenericHelper.GetBigEndianByteArray(startEpochInDays));

UTF-8 在将字节数组（如果字节数组中的最后一位数字是 128 或更多）转换为过滤器中的字符串时抛出异常。

异常 - 无法将索引 6 处的字节 [8B] 从指定代码页转换为 Unicode。

内部异常 -

at System.Text.DecoderExceptionFallbackBuffer.Throw(Byte[] bytesUnknown, Int32 index)
at System.Text.DecoderExceptionFallbackBuffer.Fallback(Byte[] bytesUnknown, Int32 index)
at System.Text.DecoderFallbackBuffer.InternalFallback(Byte[] bytes, Byte* pBytes)
at System.Text.UTF8Encoding.GetCharCount(Byte* bytes, Int32 count, DecoderNLS baseDecoder)
at System.String.CreateStringFromEncoding(Byte* bytes, Int32 byteLength, Encoding encoding)
at System.Text.UTF8Encoding.GetString(Byte[] bytes, Int32 index, Int32 count)
at System.Text.Encoding.GetString(Byte[] bytes)

提前致谢。

Answer 1

UTF8 不适合将任意字节编码为字符串。相反：它将任意字符串编码为字节（反之亦然，只要字节格式正确）。没有理由认为HBaseGenericHelper.GetBigEndianByteArray(startEpochInDays) 返回UTF-8 数据，所以encoding.GetString 是完全不合适的，实际上是在使用Encodingbackwards。这是first topic I discussed here - 所以不要惊慌：你的陪伴很好 - 人们总是犯这个错误。

您应该使用的是 base-16（十六进制）或 base-64。

获取十六进制：BitConverter.ToString(byte[])。获取 base-64：Convert.ToBase64String(byte[])

如果您需要数据采用非 base-64 或 base-16 的特定格式，那么您必须具体说明所需的格式。但是：它不是“UTF-8 向后使用”。