PHP fgetcsv 多行,不仅是一行还是全部


php fgetcsv multiple lines not only one or all

我想要读取biiiiig CSV文件,并想将它们插入数据库。这已经有效了:

if(($handleF = fopen($path."''".$file, 'r')) !== false){
                        $i = 1;
                        // loop through the file line-by-line
                        while(($dataRow = fgetcsv($handleF,0,";")) !== false) {
                            // Only start at the startRow, otherwise skip the row.
                            if($i >= $startRow){
                                // Check if to use headers
                                if($lookAtHeaders == 1 && $i == $startRow){
                                    $this->createUberschriften( array_map(array($this, "convert"), $dataRow ) );
                                } else {
                                    $dataRow = array_map(array($this, "convert"), $dataRow );
                                    $data = $this->changeMapping($dataRow, $startCol);
                                    $this->executeInsert($data, $tableFields);
                                }
                                unset($dataRow);
                            }
                            $i++;
                        }
                        fclose($handleF);
                    }

我对这个解决方案的问题是,它非常慢。但是文件太大了,无法直接放入内存中......所以我想问,是否有可能读取,例如 10 行,进入$dataRow数组,而不仅仅是一个或全部。我想在内存和性能之间取得更好的平衡。

你明白我的意思吗?感谢您的帮助。

格莱兹

编辑:好的,我仍然需要尝试使用 MSSQL 数据库找到解决方案。我的解决方案是堆叠数据,然后进行多个MSSQL插入:

 while(($dataRow = fgetcsv($handleF,0,";")) !== false) { 
                            // Only start at the startRow, otherwise skip the row.
                            if($i >= $startRow){ 
                                // Check if to use headers
                                if($lookAtHeaders == 1 && $i == $startRow){
                                    $this->createUberschriften( array_map(array($this, "convert"), $dataRow ) );
                                } else {
                                    $dataRow = array_map(array($this, "convert"), $dataRow );
                                    $data = $this->changeMapping($dataRow, $startCol);
                                    $this->setCurrentRow($i);
                                    if(count($dataStack) > 210){
                                        array_push($dataStack, $data);
                                        #echo '<pre>', print_r($dataStack), '</pre>';
                                        $this->executeInsert($dataStack, $tableFields, true);
                                        // reset the stack
                                        unset($dataStack);
                                        $dataStack = array();
                                    } else {
                                        array_push($dataStack, $data);
                                    }
                                    unset($data);
                                }
                                $i++;
                                unset($dataRow);
                            }
                        }

最后,我必须循环堆栈并在方法"executeInsert"中构建多个插入,以创建这样的查询:

INSERT INTO [myTable] (field1, field2) VALUES ('data1', 'data2'),('data2', 'datta3')...

这效果要好得多。我仍然需要检查最佳余额,但因此我只能更改上面代码中的值"210"。我希望每个人都能遇到类似的问题。注意:读入完整文件后不要忘记再次执行方法"executeInsert",因为可能会发生堆栈中仍有一些数据并且该方法仅在堆栈达到 210 大小时才执行。

格莱兹

我认为

您的瓶颈不是读取文件。这是一个文本文件。您的瓶颈是 SQL 表中的插入。

做点什么,只需注释实际插入的行,您就会看到差异。

过去也有同样的问题,我完全按照你正在做的事情做了。 读取 5+ 百万行 CSV 并将其插入 Mysql 表中。执行时间为 60 小时,即不切实际。

我的解决方案是切换到另一种数据库技术。我选择了MongoDB和执行时间减少到5分钟。MongoDB在这种情况下执行得非常快,并且还有一个名为mongoimport的工具,该工具允许您从命令行快速导入csv文件。

如果数据库技术不是您的限制,请尝试一下。

另一种解决方案是将巨大的CSV文件拆分为块,然后并行多次运行相同的php脚本,每个块将处理文件名上带有特定前缀或后缀的块。

我不知道你使用的是哪个特定的操作系统,但在Unix/Linux中有一个命令行工具称为 split,它将为您执行此操作,并且还会将您想要的任何前缀或后缀添加到块的文件名中。