将 UnicodeString 的 char pos 转换为 utf8 字符串中的字节 pos

Question

我使用 Scintilla 并将其编码设置为 utf8（如果我理解正确，这是使其与 Unicode 字符兼容的唯一方法）。有了这个设置，当谈到文本中的 positions 时，Scintilla 表示 byte 位置。

问题是，我在程序的其余部分使用 UnicodeString，当我需要在 Scintilla 编辑器中选择特定范围时，我需要将 UnicodeString 的 char pos 转换为对应的 utf8 字符串中的 byte pos到 UnicodeString。我怎样才能轻松做到这一点？谢谢。

PS，当我找到ByteToCharIndex时，我认为这是我需要的，但是根据它的文档和我的测试结果，它只有在系统使用多字节字符系统（MBCS）时才有效。

Answer 1

您应该使用 UTF8 description 自己解析 UTF8 字符串。我写了一个 ByteToCharIndex 的快速 UTF8 模拟并在西里尔字符串上进行了测试：

function UTF8PosToCharIndex(const S: UTF8String; Index: Integer): Integer;
var
  I: Integer;
  P: PAnsiChar;

begin
  Result:= 0;
  if (Index <= 0) or (Index > Length(S)) then Exit;
  I:= 1;
  P:= PAnsiChar(S);
  while I <= Index do begin
    if Ord(P^) and $C0 <> $80 then Inc(Result);
    Inc(I);
    Inc(P);
  end;
end;

const TestStr: UTF8String = 'abФЫВА';

procedure TForm1.Button2Click(Sender: TObject);
begin
  ShowMessage(IntToStr(UTF8PosToCharIndex(TestStr, 1))); // a = 1
  ShowMessage(IntToStr(UTF8PosToCharIndex(TestStr, 2))); // b = 2
  ShowMessage(IntToStr(UTF8PosToCharIndex(TestStr, 3))); // Ф = 3
  ShowMessage(IntToStr(UTF8PosToCharIndex(TestStr, 5))); // Ы = 4
  ShowMessage(IntToStr(UTF8PosToCharIndex(TestStr, 7))); // В = 5
end;

---

反转功能也没有问题：

function CharIndexToUTF8Pos(const S: UTF8String; Index: Integer): Integer;
var
  P: PAnsiChar;

begin
  Result:= 0;
  P:= PAnsiChar(S);
  while (Result < Length(S)) and (Index > 0) do begin
    Inc(Result);
    if Ord(P^) and $C0 <> $80 then Dec(Index);
    Inc(P);
  end;
  if Index <> 0 then Result:= 0;  // char index not found
end;

Answer 2

我非常尊重地基于 Serg 的代码编写了一个函数，我将其作为单独的答案发布在这里，希望它对其他人也有帮助。 Serg 的回答被接受了。

{返回字符第一个字节的索引（从1开始）（unicode点） 由 aUtf8Str 中的 aCharIdx（基于 1）指定。

Edwin Yip 根据 SO 成员 Serg (https://stackoverflow.com/users/246408/serg) 编写的代码修改了代码

参考 1：https://stackoverflow.com/a/10388131/133516

参考 2：http://sergworks.wordpress.com/2012/05/01/parsing-utf8-strings/ }

function CharPosToUTF8BytePos(const aUtf8Str: UTF8String; const aCharIdx:
    Integer): Integer;
var
  p: PAnsiChar;
  charCount: Integer;
begin
  p:= PAnsiChar(aUtf8Str);
  Result:= 0;
  charCount:= 0;
  while (Result < Length(aUtf8Str)) do
  begin
    if IsUTF8LeadChar(p^) then
      Inc(charCount);

    if charCount = aCharIdx then
      Exit(Result + 1);

    Inc(p);
    Inc(Result);
  end;
end;

Answer 3

UTF-8 和 UTF-16（UnicodeString 使用的）都是可变长度编码。给定的 Unicode 代码点可以使用 1-4 个单字节代码单元在 UTF-8 中编码，在 UTF-16 中使用 1 或 2 个 2 字节代码单元，具体取决于代码点的数值。将 UTF-16 字符串中的位置转换为等效 UTF-8 字符串中的位置的唯一方法是将位置之前的 UTF-16 代码单元解码回其原始 Unicode 代码点值，然后将它们重新编码为 UTF- 8 个代码单元。

听起来您最好重新编写与 Scintilla 交互的代码以使用 UTF8String 而不是 UnicodeString，然后您就不必再在该层在 UTF-8 和 UTF-16 之间进行转换.在与其余代码交互时，您可以根据需要在UTF8String 和UnicodeString 之间进行转换。