我有一个包含数千（约10000）个关键字的数据库。当用户在我的网站上发布博客时，我想自动搜索文本中的关键词，并用任何直接匹配的内容标记帖子。
到目前为止，我所能想到的就是提取整个关键词列表，循环浏览它，并检查帖子中每个标签的存在。。。这似乎非常低效（即10000个循环）。
有更常见的方法吗？我应该使用MySQL查询来限制它吗？
我想这不是一个完全罕见的任务。
不，只是不要那样做。
与其循环遍历10000个元素，不如从句子或文本中提取单词，然后将其添加到SQL查询中，这样您就可以获得所有所需的记录。这肯定比你提出的解决方案更有效率。
您可以使用PHP以以下方式完成此操作：
$possible_keywords = preg_split('/'b/', $your_text, PREG_SPLIT_NO_EMPTY);
以上操作将在单词的边界上拆分文本，并且不会在数组中返回任何空元素。
然后，您只需以类似于以下的方式创建SQL查询：
SELECT * FROM `keywords` WHERE `keywords`.`keyword` IN (...)
（只需将逗号分隔的提取单词列表放在括号中）
在进行查询之前，您可能应该筛选$possible_keywords数组（只包括具有适当长度的关键字并排除重复项），并对keyword列进行索引。
我不知道你打算使用什么语言，但如果你觉得合适的话，标准的trie（前缀树）可以解决这个问题。
我想您可以动态构建一个正则表达式，使您能够匹配特定字符串中的关键字。你可以把所有这些打包在一个做繁重工作的班级里。
class KeywordTagger {
static function getTags($body) {
if(preg_match_all(self::getRegex(), $body, $keywords)) {
return $keywords[0];
} else {
return null;
}
}
private static $regex;
private static function getRegex() {
if(self::$regex === null) {
// Load Keywords from DB here
$keywords = KeywordsTable::getAllKeywords();
// Let's escape
$keywords = array_map('KeywordTagger::pregQuoteWords', $keywords);
// Base Regex
$regex = '/'b(?:%s)'b/ui';
// Build Final
self::$regex = sprintf($regex, implode('|', $keywords));
}
return self::$regex;
}
private static function pregQuoteWords($word) {
return preg_quote($word, '/');
}
}
然后，你所要做的就是，当用户写帖子时，通过类运行它：
$tags = KeywordTagger::getTags($_POST['messageBody']);
对于小的速度提升，您可以使用memcached、APC或一个好的旧的基于文件的缓存来缓存构建的regex。
嗯，我认为PHP的stripos已经进行了相当优化。如果你想进一步优化这个搜索，你必须利用关键词之间的相似性（例如，不是先找"foobar"，然后找"foobaz"，而是先找"fooba"，然后检查每个后面跟着"r"、"z"或"none"的"fooba"）。但这需要对关键词进行某种树表示，比如：
根（空字符串）
|
fooba
/ '
foobar foobaz
是的，这是一个trie。