c – std :: string在安全的地方截断utf-8的最佳方法

从序列中的最后一个字节开始.如果最后一个字节的前两位是10,那么它是UTF-8序列的一部分,所以继续备份直到前两位不是10(或直到你到达开始).

UTF-8的工作方式是,一个字节可以是三种情况之一,基于字节的高位.如果最高位为0,则该字节为ASCII字符,接下来的7位为Unicode Codepoint值本身.如果最高位为10,则后面的6位是多字节序列的额外位.但是多字节序列的开头在顶部位用11编码(并且序列中的字节数由在前0之前跟随这两个1的多少1来确定).

因此,如果一个字节的顶部位不是10,那么它是ASCII字符或多字节序列的开头.无论哪种方式,它都是一个有效的切割场所.

但请注意,虽然这会破坏代码点边界处的字符串,但这基于Unicode字形集群.这意味着可以剔除组合字符,远离它们组合的基本字符;例如,重音可能会从字符中丢失.进行正确的字形集群分析需要访问Unicode表,该表表明代码点是否为组合字符.

但它至少是一个有效的Unicode UTF-8字符串.所以这比大多数人做得好;)

代码看起来像这样(在C 14中)：

auto FindCutPosition(const std::string &str,size_t max_size)
{
  assert(str.size() >= max_size,"Make sure stupidity hasn't happened.");
  assert(str.size() > 3,"Make sure stupidity hasn't happened.");
  max_size -= 3;
  for(size_t pos = max_size; pos > 0; --pos)
  {
    unsigned char byte = static_cast<unsigned char>(str[pos]); //Perfectly valid
    if(byte & 0xC0 != 0x80)
      return pos;
  }

  unsigned char byte = static_cast<unsigned char>(str[0]); //Perfectly valid
  if(byte & 0xC0 != 0x80)
    return 0;

  //If your first byte isn't even a valid UTF-8 starting point,then something terrible has happened.
  throw bad_utf8_encoded_text(...);
}