我有一个csv文件看起来像这样
col1, col2, col3
1 , John, ABC
我需要将第 3 列中的ABC
解析为A,B,C
,因为新关系需要col1, col3 (each letter)
.
$j
是行,$i
是列。
$j = 0;
while (($row = fgetcsv($handle, 1000, ',')) !== false) {
$i = 0;
$id = 0;
foreach ($row as $field) {
# save the id of each row
if($j >0 && $i == 0){
$id = $field;
}
# parse the third column for non-header rows)
if($j > 0 && $i >= 3){
$char_array = str_split($field);
foreach($char_array as $value){
//echo $value;
//echo $id.$value."<br/>";
mysql_query("INSERT INTO sample VALUES('".$id."', '".$value."')");
}
}
$i = $i + 1; # increment the column
}
$j = $j +1; # move to the next row
}
这很慢。我有 720 多行,其中大多数在第三列中超过 5 个字符。
ABCDE
,所以平均我们有 720 x 5。这是一个巨大的数字。我得到timeout
.我可以在本地更改执行的最长时间,但我需要在学生 linux 帐户上运行它。我没有那种特权。
我怀疑是因为超时(这次没有说(,我有
id = 502
.我错过了其余的(我最多有 720 行(。
我能做什么?我只对第一列和第三列感兴趣。
IO磁盘读/写也很慢。但它不会超时,并且使用缓存,您实际上不会表现得那么糟糕。事实上,我一直在这样做,在 PHP 中,数据大小大于 20MB。没那么糟糕....如果我真的想做大数据,我会使用Python,C++算法,因为我已经准备好了。
示例,根据您的代码(可能包含错误(:
$big = array();
$j = 0;
$k = 0;
while(....) {
....
foreach($char_array as $value){
#mysql_query("INSERT INTO sample VALUES('".$id."', '".$value."')");
$big[$k][0] = $id;
$big[$k][1] = $value;
$k = $k+1;
}
....
}
在这里,您可以创建一个嵌套数组。 $big
是外部数组,内部分配列和行。
使用fputcsv
写入新的 csv。根据您的规范,新的 csv 应如下所示:
1、A
1, B
这是写入CSV的代码(来自PHP Doc(
$fp = fopen('new.csv', 'w');
foreach ($big as $fields) {
fputcsv($fp, $fields);
}
fclose($fp);
}
现在,您可以将 CSV 加载到数据库中。
<小时 />编辑。我刚刚尝试使用 720 行这样的数据并复制和粘贴 720 次。
1, ABCDEFGHIJK
没花那么长时间...也许1-2秒。
[未经测试]
$query = '';
$array = array();
if (($handle = fopen("file.csv", "r")) !== FALSE) {
while (($row = fgetcsv($handle, 1000, ',')) !== false) {
//$total = count($row);
foreach ($row as $key=>$value) {
$chrs = str_split($value[2]);
foreach ($chrs as $chr){
$array[] = {$value[0], $chr} ;
}
}
}
}
foreach ($array as $key=>$value){
$query .= 'INSERT INTO table VALUES ('.$value[0].', "'.$value[1].'")';
}
if ($query <> ''){
mysql_query($query, $connection);
}