MySQL正则表达式中的Unicode - Unicode in MySQL Regex?

我有以下任务:建立一个个人汉字字典。用户可以从列表中选择单个汉字。然后，该软件浏览字符组合列表，并过滤掉所有包含不在用户单个字符列表中的字符。因此，如果用户研究了1(_1)和10(_1)，那么应该显示11(_1)，而不是12(_1)。

下一个问题是大约有12k个单个字符和100k个组合。整个列表可以变得很长。目前我面临以下问题:MySQL似乎无法与unicode字符进行适当的REGEX匹配。但是PHP可以。当我执行MySQL查询时(见下文)，我得到了很多误报。我必须过滤的结果与PHP之后再次。整件事要花很多时间。现在，我有了一个包含180个单个字符的示例列表，这些字符在SQL正则表达式中匹配，如下所示。SQL的结果是超过30,000个组合。在我正在运行的机器上执行该SQL调用大约需要6秒。当我随后用PHP检查结果时，结果只有1182个组合。有很多误报。最重要的是，检查结果还需要几秒钟。每向列表中添加一个字符，时间就会增加大约半秒。迫切需要一种更有效的方法。

为了解决这个问题，我首先需要弄清楚为什么MySQL有这么多误报:

如果我用PHP做正则表达式，我使用/regex/u来指示主题是unicode，这给了我正确的结果。

在MySQL中，然而，我不知道如何设置这样一个标志。所有REGEXP 'regex'结果以相同的方式返回，如果我使用PHP preg_match('/regex/', $subject)而不是/regex/u。

我试图将结果的排序改为各种utf8_*，但它不会改变结果。此外，在数据库上添加全文索引也没有任何作用。

下面是我编写的一个测试函数，用来突出这个问题。如果你有任何其他关于检查的想法，请告诉我。

$db = mysql_connect('localhost', 'kanji', '************');
$link =  mysql_select_db('kanji_data', $db);
mysql_query('SET character_set_results=utf8');
mysql_query('SET names=utf8');
mysql_query('SET character_set_client=utf8');
mysql_query('SET character_set_connection=utf8');
mysql_query('SET character_set_results=utf8');
mysql_query('SET collation_connection=utf8_general_ci');
mysql_set_charset('utf8');
echo '<pre>debug: encoding=' .mysql_client_encoding(). '</pre>';
$string = '三|二|四|一|五';
$sql = "SELECT simplified, length(simplified), searchindex FROM chinese WHERE strlen>0 AND simplified REGEXP '($string)+';";
$sql_encoding = mb_detect_encoding($sql);
echo '<pre>debug: sql string encoding: ' . $sql_encoding . '</pre>';
echo '<pre>debug: sql string: ' . $sql . '</pre>';
// echo $sql;
$rst = mysql_query($sql);
echo mysql_errno($db) . ": " . mysql_error($db). "'n";
while ($row = mysql_fetch_array($rst, MYSQL_NUM)) {
    $len = mb_strlen($row[0]);
    $result_encoding =  mb_detect_encoding($row[0]);
    $pattern = "/^(三|二|四|一|五)+$/u";
    preg_match($pattern, $row[0], $matches);
    if (count($matches) == 0) {
        echo "ERROR: ";
    }
    echo 'string: '. $row[0] . ' ('.$row[1] .' long mysql, '.$len.' long php, encoding: '.$result_encoding.')'.$row[2] ."<br>'n'n'n";
}

功能的结果可以在这个网站上看到。

如果我做了一些完全错误的事情来实现所需的结果，我也很乐意以不同的方式解决这个问题。

当前的问题是MySQL根本不能正确地将REGEX与Unicode字符组合在一起。REGEX总是以字节为基础工作，而Unicode需要对几个字节进行分组。没有解决办法，只有变通办法。

我所做的一个解决方法是用另一个表索引每个出现的字母，然后在索引上运行检查，而不是在原始的日语文本上。

连接字符集是否也设置为utf8?
否则，如果连接字符集为latin1, mysql服务器将解释一个(utf-8编码)语句，如

SELECT x FROM foo WHERE name REGEXP 'Ä.*'

SELECT x FROM foo WHERE name REGEXP 'Ã„.*'