处理、解析和流式传输大型文本文件的实用方法是什么


What is a practical way to process, parse, and stream a large text file?

我目前有一个日志文件流(文本格式),它不断被正在运行的进程附加到。我正在使用PHP将其处理为JSON格式,然后使用jQuery的getJSON对其进行解析。

我想知道在日志文件中获取数据的实用方法是什么。我使用了jQuery的post函数,该文件太长而无法获取。函数getJSON很好,但是日志文件足够长,PHP无法处理它,所以它不会被传递给函数。

我曾考虑过限制日志文件中的行数(来自 CentOS),并从日志文件中获取一定数量的行数(对于速度不切实际),但我该怎么做?

要只阅读文件的最后一部分,请搜索到一个好的位置并从那里开始。例如:

define('FILE', '/var/log/logfile');
define('SIZE', 1024*1024);
if (filesize(FILE) <= SIZE) {
  $text = file_get_contents(FILE);
} else {
  $fh = fopen(FILE, 'r');
  fseek($fh, -SIZE, SEEK_END);
  // Remove up to newline to avoid a broken line
  $skip = strlen(fgets($fh));
  $text = fread($fh, SIZE - $skip);
  fclose($fh);
}
// Do your work with $text here...