我想要读取biiiiig CSV文件,并想将它们插入数据库。这已经有效了:
if(($handleF = fopen($path."''".$file, 'r')) !== false){
$i = 1;
// loop through the file line-by-line
while(($dataRow = fgetcsv($handleF,0,";")) !== false) {
// Only start at the startRow, otherwise skip the row.
if($i >= $startRow){
// Check if to use headers
if($lookAtHeaders == 1 && $i == $startRow){
$this->createUberschriften( array_map(array($this, "convert"), $dataRow ) );
} else {
$dataRow = array_map(array($this, "convert"), $dataRow );
$data = $this->changeMapping($dataRow, $startCol);
$this->executeInsert($data, $tableFields);
}
unset($dataRow);
}
$i++;
}
fclose($handleF);
}
我对这个解决方案的问题是,它非常慢。但是文件太大了,无法直接放入内存中......所以我想问,是否有可能读取,例如 10 行,进入$dataRow数组,而不仅仅是一个或全部。我想在内存和性能之间取得更好的平衡。
你明白我的意思吗?感谢您的帮助。
格莱兹
五
编辑:好的,我仍然需要尝试使用 MSSQL 数据库找到解决方案。我的解决方案是堆叠数据,然后进行多个MSSQL插入:
while(($dataRow = fgetcsv($handleF,0,";")) !== false) {
// Only start at the startRow, otherwise skip the row.
if($i >= $startRow){
// Check if to use headers
if($lookAtHeaders == 1 && $i == $startRow){
$this->createUberschriften( array_map(array($this, "convert"), $dataRow ) );
} else {
$dataRow = array_map(array($this, "convert"), $dataRow );
$data = $this->changeMapping($dataRow, $startCol);
$this->setCurrentRow($i);
if(count($dataStack) > 210){
array_push($dataStack, $data);
#echo '<pre>', print_r($dataStack), '</pre>';
$this->executeInsert($dataStack, $tableFields, true);
// reset the stack
unset($dataStack);
$dataStack = array();
} else {
array_push($dataStack, $data);
}
unset($data);
}
$i++;
unset($dataRow);
}
}
最后,我必须循环堆栈并在方法"executeInsert"中构建多个插入,以创建这样的查询:
INSERT INTO [myTable] (field1, field2) VALUES ('data1', 'data2'),('data2', 'datta3')...
这效果要好得多。我仍然需要检查最佳余额,但因此我只能更改上面代码中的值"210"。我希望每个人都能遇到类似的问题。注意:读入完整文件后不要忘记再次执行方法"executeInsert",因为可能会发生堆栈中仍有一些数据并且该方法仅在堆栈达到 210 大小时才执行。
格莱兹
五
您的瓶颈不是读取文件。这是一个文本文件。您的瓶颈是 SQL 表中的插入。
做点什么,只需注释实际插入的行,您就会看到差异。
我过去也有同样的问题,我完全按照你正在做的事情做了。 读取 5+ 百万行 CSV 并将其插入 Mysql 表中。执行时间为 60 小时,即不切实际。
我的解决方案是切换到另一种数据库技术。我选择了MongoDB和执行时间减少到5分钟。MongoDB在这种情况下执行得非常快,并且还有一个名为mongoimport的工具,该工具允许您从命令行快速导入csv文件。
如果数据库技术不是您的限制,请尝试一下。
另一种解决方案是将巨大的CSV文件拆分为块,然后并行多次运行相同的php脚本,每个块将处理文件名上带有特定前缀或后缀的块。
我不知道你使用的是哪个特定的操作系统,但在Unix/Linux中有一个命令行工具称为 split,它将为您执行此操作,并且还会将您想要的任何前缀或后缀添加到块的文件名中。