使用phpcassa从文件大容量加载到Cassandra时出现问题


Problem in bulk load from a file into Cassandra using phpcassa

我正试图使用phpcassa将1000000条记录从文本文件加载到Cassandra中。但在加载过程进行到一半时,我出现了以下错误。

PHP致命错误:第759**行的/usr/share/PHP/phpcassa/columnfamily.PHP中超过了30秒的最长执行时间

如何增加执行时间?我必须更改columnfamily.php中的任何参数吗?请在下面找到我的代码。

 <?
     require_once('phpcassa/connection.php');
     require_once('phpcassa/columnfamily.php');
     try {
     $servers = array("127.0.0.1:9160");
     $pool = new ConnectionPool("Keyspace1", $servers);
     $column_family = new ColumnFamily($pool, 'Product');
     $cnt=0;
     $files = fopen("dump.txt", "r");
     $mtime = microtime();
     $mtime = explode(" ",$mtime);
     $mtime = $mtime[1] + $mtime[0];
     $starttime = $mtime;
     while (!feof($files)) {
         $line = fgets($files);
         $keyname="P".$cnt;
         $split_line = explode("," , $line);
         for ($i=0;$i<count($split_line);$i++) {
             //echo $split_line[$i];
             $column_family->insert(
                 $keyname, array(
                     'code' => $split_line[0] ,
                     'pname' => $split_line[1] ,
                     'price' => $split_line[2]
                 )
             );
         }
         $cnt += 1;
     }
     $mtime = microtime();
     $mtime = explode(" ",$mtime);
     $mtime = $mtime[1] + $mtime[0];
     $endtime = $mtime;
     fclose($files);
     $totaltime = ($endtime - $starttime);
     echo "$cnt keys loaded in ".$totaltime." seconds";
     }
     catch (Exception $e)
     {
         echo 'Exception: ' . $e->getMessage();
     }
 ?>

尝试将其添加到脚本顶部: set_time_limit(0);

请参见set_time_limit

更普遍地说,在web服务器环境中进行批量加载(这就是事实,对吧?)不是最好的主意。两者都不是一蹴而就。但我想,对于一百万行来说,这将足够奏效。

请增加php.ini文件中的max_execution_time限制。这将避免PHP Fatal error: Maximum execution time of 30 seconds。默认情况下,web服务器上的最长执行时间保持为30秒。

您可以更改该数量,以便为服务器上的某些执行提供更多时间。

max_execution_time = 1200;