迁移php应用程序以处理UTF-8 - Migrating a php application to handle UTF-8

我正在开发php中的多语言应用程序。

一切都很好，直到最近我被要求支持汉字。我为支持UTF-8字符所做的操作如下:

所有的DB表现在都是UTF-8
HTML模板包含标签<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
控制器发送一个报头，指定用于http响应的编码(utf-8)

一切都很好，直到我开始做一些字符串操作(substr和类似的)

对于中文，它将不起作用，因为中文是用多字节表示的，因此如果你执行一个普通的子字符串(substr)，它将在分配的一个字节的中间剪切一个"字母"，并在屏幕上搞砸结果。

我通过在bootstrap

中添加这个修复了我所有的问题

mb_internal_encoding("UTF-8");

并将strlen, substr, strstr全部替换为mb_。

我还需要做些什么才能在php中完全支持UTF-8 ?

要做的不仅仅是替换这些函数。

正则表达式

您应该将utf8标志添加到所有可以包含非ascii字符的字符串的PCRE正则表达式中，以便将模式解释为实际字符而不是字节。

$subject = "Helló";
$pattern = '/(l|ó){2,3}/u'; //The u flag indicates the pattern is UTF8
preg_match($pattern, substr($subject,3), $matches, PREG_OFFSET_CAPTURE);

还应该使用Unicode字符类而不是标准的Perl字符类，如果您希望正则表达式对非拉丁字母是正确的?

'p{L}而不是'w用于任何'字母'字符。
'p{Z}而不是's用于任何'空格'字符。
'p{N}而不是'd用于任何'数字'字符，例如阿拉伯数字

有很多不同的Unicode字符类，其中一些对于习惯用拉丁字母读写的人来说是很不寻常的。例如，一些字符与前一个字符组合形成一个新的字形。更多的解释可以在这里阅读。

虽然在mbstring扩展中有正则表达式函数，但不建议使用。标准的PCRE函数可以很好地使用UTF8标志。

函数替换

虽然你的列表是一个开始，但到目前为止，我发现需要用多字节版本替换的函数列表更长。这是函数列表及其替换函数，其中一些在PHP中没有定义，但可以从这里在Github上作为mb_extra获取。

$unsafeFunctions = array(
    'mail'      => 'mb_send_mail',
    'split'     => null, //'mb_split', deprecated function - just don't use it
    'stripos'   => 'mb_stripos',
    'stristr'   => 'mb_stristr',
    'strlen'    => 'mb_strlen',
    'strpos'    => 'mb_strpos',
    'strrpos'   => 'mb_strrpos',
    'strrchr'   => 'mb_strrchr',
    'strripos'  => 'mb_strripos',
    'strstr'    => 'mb_strstr',
    'strtolower'    => 'mb_strtolower',
    'strtoupper'    => 'mb_strtoupper',
    'substr_count'  => 'mb_substr_count',
    'substr'        => 'mb_substr',
    'str_ireplace'  => null,
    'str_split'     => 'mb_str_split', //TODO - check this works
    'strcasecmp'    => 'mb_strcasecmp', //TODO - check this works
    'strcspn'       => null, //TODO - implement alternative
    'strrev'        => 'mb_strrev', //TODO - check this works
    'strspn'        => null, //TODO - implement alternative
    'substr_replace'=> 'mb_substr_replace',
    'lcfirst'       => null,
    'ucfirst'       => 'mb_ucfirst',
    'ucwords'       => 'mb_ucwords',
    'wordwrap'      => null,
);

MySQL

虽然您可能认为将字符类型设置为utf8将使MySQL支持UTF-8，但事实并非如此。

它只给你支持UTF-8编码在最多3个字节又称为基本多语言平面。然而，人们正在积极使用需要4字节编码的字符，包括大多数表情符号字符，也被称为补充多语言平面

要支持这些，通常应该使用:

utf8mb4 -用于字符编码。
utf8mb4_unicode_ci -用于字符排序。

对于特定的场景，有可能适合您的替代排序集，但通常坚持使用最正确的排序集。

你应该在MySQL配置文件中设置字符集和排序规则的地方列表如下:

[mysql]
default-character-set=utf8mb4
[client]
default-character-set=utf8mb4
[mysqld]
init-connect='SET NAMES utf8mb4'
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci

SET NAMES可能不是在所有情况下都需要，但只有在很小的速度损失下才更安全。

INI文件

虽然您说您已经在引导脚本中设置了mb_internal_encoding，但在PHP ini文件中设置mb_internal_encoding要好得多，并设置所有推荐的参数:

mbstring.language   = Neutral   ; Set default language to Neutral(UTF-8) (default)
mbstring.internal_encoding  = UTF-8 ; Set default internal encoding to UTF-8
mbstring.encoding_translation = On  ;  HTTP input encoding translation is enabled
mbstring.http_input     = auto  ; Set HTTP input character set dectection to auto
mbstring.http_output    = UTF-8 ; Set HTTP output encoding to UTF-8
mbstring.detect_order   = auto  ; Set default character encoding detection order to auto
mbstring.substitute_character = none ; Do not print invalid characters
default_charset      = UTF-8 ; Default character set for auto content type header

帮助浏览器为表单选择UTF8

你需要将表单的accept-charset设置为UTF-8，告诉浏览器以UTF8格式提交。
在表单的隐藏字段中添加UTF8字符，以阻止Internet Explorer(5,6,7和8)以非UTF8格式提交表单

Misc

如果你使用Apache设置"AddDefaultCharset utf-8"
正如你所说的，但只是为了提醒任何阅读答案的人，在标题中设置元内容类型。

应该就是这样了。虽然值得一读"每个程序员绝对需要知道的关于编码和字符集的内容"页面，但我认为最好在任何地方使用UTF-8，这样就不必在处理不同的字符集上花费任何精力。