delphi – 从RawByteString转换为字符串会自动调用UTF8Decode吗

procedure TSQLiteDatabase.AddParamText(name: string; value: string);

type
  {$IFDEF Unicode}
  TBinary = RawByteString;
  {$ELSE}
  TBinary = AnsiString;
  {$ENDIF}

procedure TForm1.Button1Click(Sender: TObject);
var
  original: WideString;
  blob: TBinary;
begin
  original := '?';
  blob     := UTF8Encode(original);

  // Delphi 6:   ?¤ (as expected)
  // Delphi XE4: ?  (unexpected! How did it do an automatic UTF8Decode???)
  ShowMessage(blob);
end;

function RealUTF8Encode(AInput: WideString): TBinary;
var
  tmp: TBinary;
begin
  tmp := UTF8Encode(AInput);
  SetLength(result,Length(tmp));
  CopyMemory(@result[1],@tmp[1],Length(tmp));
end;

procedure TForm1.Button2Click(Sender: TObject);
var
  original: WideString;
  blob: TBinary;
begin
  original := '?';
  blob     := RealUTF8Encode(original);

  // Delphi 6:   ?¤ (as expected)
  // Delphi XE4: ?¤ (as expected)
  ShowMessage(blob);
end;

在Delphi的Ansi版本中(在D2009之前),UTF8Encode()返回UTF-8编码的AnsiString.在Unicode版本(D2009及更高版本)中,它返回一个UTF-8编码的RawByteString,其代码页为CP_UTF8(65001).

在Ansi版本中,ShowMessage()接受AnsiString作为输入,UTF-8字符串是AnsiString,因此它按原样显示.在Unicode版本中,ShowMessage()采用UTF-16编码的UnicodeString作为输入,因此UTF-8编码的RawByteString使用其指定的CP-UTF8代码页转换为UTF-16.

如果您实际上将blob数据直接写入数据库,您会发现它可能是也可能不是UTF-8编码,具体取决于您编写它的方式.但你的做法是错误的;在这种情况下,使用RawByteString是不正确的. RawByteString仅用作过程参数.不要将它用作局部变量.这是你问题的根源.从documentation：

The purpose of RawByteString is to reduce the need for multiple
overloads of procedures that read string data. This means that
parameters of routines that process strings without regard for the
string’s code page should typically be of type RawByteString.

RawByteString should only be used as a parameter type,and only in
routines which otherwise would need multiple overloads for AnsiStrings
with different codepages. Such routines need to be written with care
for the actual codepage of the string at run time.

对于Unicode版本的Delphi,而不是RawByteString,我建议您使用TBytes来保存您的UTF-8数据,并使用TEncoding对其进行编码：

var
  utf8: TBytes;
  str: string;
...
str := ...;
utf8 := TEncoding.UTF8.GetBytes(str);

您正在寻找一种在传递时不执行隐式文本编码的数据类型,而TBytes就是该类型.

对于Ansi的Ansi版本,您可以完全像您一样使用AnsiString,WideString和UTF8Encode.

但就个人而言,我建议一致地使用TBytes来获取您的UTF-8数据.因此,如果您需要一个支持Ansi和Unicode编译器的代码库(唉！),那么您应该创建一些帮助器：

{$IFDEF Unicode}
function GetUTF8Bytes(const Value: string): TBytes;
begin
  Result := TEncoding.UTF8.GetBytes(Value);
end;
{$ELSE}
function GetUTF8Bytes(const Value: WideString): TBytes;
var
  utf8str: UTF8String;
begin
  utf8str := UTF8Encode(Value);
  SetLength(Result,Length(utf8str));
  Move(Pointer(utf8str)^,Pointer(Result)^,Length(utf8str));
end;
{$ENDIF}

Ansi版本引入的堆分配比必要的多.您可能会选择编写一个更有效的帮助程序,直接调用WideCharToMultiByte().

在Unicode版本的Delphi中,如果由于某种原因您不想将TBytes用于UTF-8数据,则可以使用UTF8String.这是一个特殊的AnsiString,它总是使用CP_UTF8代码页.然后你可以写：

var
  utf8: UTF8String;
  str: string;
....
utf8 := str;

并且编译器将在幕后为您转换为UTF-16到UTF-8.我不推荐这个,因为它不支持移动平台,也不支持Ansi的Ansi版本(自Delphi 6以来已经存在UTF8String,但在Delphi 2009之前它不是真正的UTF-8字符串).也就是说,除其他原因外,为什么我建议您使用TBytes.我的理念是,至少在Unicode时代,存在本机字符串类型,并且任何其他编码都应该保存在TBytes中.