对数据库中单词的实例进行排序和计数


Sort and count instances of words in a database

我使用了以下问题php:对给定字符串中单词的实例进行排序和计数

我的数据库中有一个带有文本字段的表格,我想对该字段中的单词进行一些分析,但我需要合并结果

ID | Text Field
1  | happy beautiful happy lines pear gin happy lines rock happy lines pear 
2  | happy lines pear gin happy lines rock happy lines pear 

我现在有一个看起来像这样的数组(但它是每行的)

第 1 行

Array (
    [happy] => 4
    [beautiful] => 1
    [lines] => 3
    [pear] => 2
    [gin] => 1
    [rock] => 1 )

第 2 行

Array (
    [happy] => 4
    [lines] => 3
    [pear] => 2
    [gin] => 1
    [rock] => 1 )

如何对所有行执行此操作以合并结果 - 数据库中有 30000 行文本

预期成果:

Array (
    [happy] => 8
    [beautiful] => 1
    [lines] => 6
    [pear] => 4
    [gin] => 2
    [rock] => 2 )

我手头没有你的数据库,所以我将通过单步执行数组来演示:

[ghoti@pc ~]$ cat doit.php
#!/usr/local/bin/php
<?php
$a=array(
  '1' => "happy beautiful happy lines pear gin happy lines rock happy lines pear",
  '2' => "happy lines pear gin happy lines rock happy lines pear",
  '3' => "happy rock pear happy happy happy",
);
$wordlist=array();
foreach ($a as $index => $line) {
  foreach (explode(" ", $line) as $word) {
    $wordlist[$word]++;
  }
}
print_r($wordlist);
[ghoti@pc ~]$ ./doit.php
Array
(
    [happy] => 11
    [beautiful] => 1
    [lines] => 6
    [pear] => 5
    [gin] => 2
    [rock] => 3
)
[ghoti@pc ~]$ 

要使其适用于您的用例,请将foreach()替换为逐步遍历表的 while 循环:

$sql = "SELECT id,wordlist FROM yadda";
$result = db_query($sql);
while ($row = db_fetch_row($result)) {
  ...
}

我不知道您正在使用什么数据库服务器,因此我无法提供我知道适用于您的特定示例。

当您从数据库中获取每一行时,请保持运行总计

$total = array();
foreach($row as $word=>val){
    if(!isset($totals[$word])) $totals[$word] = 0;
    $totals[$word] += $val;
}

我会这样做:创建一个新表,称为单词,从数据库中提取每一行,循环遍历它并分解字符串并在数据中插入每个单词,可以选择存储数据,例如主表 ID,以便您可以获得有关上下文或单词的大多数附加统计信息,如果您处理许多行和大型数据集,这可能不是最佳选择

然后你可以使用SQL来建立你的计数等

您可以使用 SQL 直接计算字数。 看看之前的这个答案:

使用 SQL 确定文本字段的字数统计

PHP 数组可以用作映射。因此,您所要做的就是获取每一行的数据,维护单词作为键的单个数组映射,并将其计数为值。每次看到密钥存在时,只需添加到计数中,否则添加具有相应计数的新密钥。

$grandtotal = array();
foreach($row as $key=>$val) {
 if(array_key_exists($key, $grandtotal)) {
  $grandtotal[$key] += $val;
 }
 else {
  $grandtotal[$key] = $val;
 }
}