在php应用程序中使用工作服务器的指南


Guide to using a worker server with a php application

我已经构建了一个PHP应用程序,并且我已经读到在调用api或执行耗时操作时使用'worker' +队列服务器是最佳实践。

快速搜索教程已经干涸。我已经使用codeigniter构建了我的应用程序,我确实在整个应用程序中对facebook api +使用基于php的图像操作进行了各种调用。我唯一想知道的是,如果我正在执行api调用或调整图像大小,那么队列服务器+工作人员如何帮助我,用户通常不会关心从我的服务器获得响应,直到它完成。

在什么情况下使用worker + queue服务器比较合适,在我的应用程序中包含这些情况有什么指南吗?最近,我在我的应用程序中加入了memcache,这非常容易。我只是用memcache处理程序包装了我的sql查询。

在您描述的示例(图像调整大小)中,您基本上在调整图像大小所需的时间内保持Apache连接打开。Apache进程是昂贵的,为了使你的系统尽可能具有可扩展性,你应该尽可能地保持你的web请求/响应短。另一个想法是使用队列可以控制并发性。如果100多个用户同时上传一张图片来调整大小呢?你的服务器能处理吗?如果您有一个工作(后端)服务器来处理这些请求,那么您将能够只允许执行X个并发作业。

同样适用于web服务请求:而不是有一个保持打开的连接,你基本上卸载web服务调用的执行到一个工作进程,这释放了一个apache进程,你可以实现一个AJAX轮询机制,检查后端服务器发出的请求是否完成web服务。从长远来看,系统的可伸缩性会更好,用户通常不喜欢等待操作完成而没有反馈。排队允许您异步执行任务,并向访问者提供任务完成状态的反馈。

我通常使用Zend Server的作业队列(http://devzone.zend.com/article/11907和http://devzone.zend.com/article/11907),它可以在Zend Server完整版(商业版)中获得。不过,Gearman在这方面也做得很好,它有一个PHP扩展:http://php.net/manual/en/book.gearman.php和一个示例:http://www.php.net/manual/en/gearmanclient.do.php。

希望这对你有帮助。

——编辑——

@Casey,我一开始想加一个评论,但意识到这个答案很快就会变得太长,所以我编辑了答案。我刚刚读了云控制的文档,这是一项我不知道的服务。然而幸运的是,我已经广泛地使用了Codeigniter,所以我将尝试为您破解一个答案:

1- Cloudcontrol的worker概念是从命令行启动php脚本。因此,您需要一种方法让Codeigniter接受从命令行触发脚本并将其分派到控制器。您可能希望将其限制为一个控制器。查看代码:http://pastebin.com/GZigWbT3这个文件实际上做了CI的index.php文件所做的事情,只是它通过设置$_REQUEST['SERVER_URI']来模拟请求。请确保将该文件放在文档根目录之外,并相应地调整$system_folder变量。

2-你需要一个controller script.php在你的controllers文件夹中,从那里你可以禁用web请求。你可以这样做:

<?php
class script extends CI_Controller {
    public function __construct() {
        if(php_sapi_name() !== 'cli') {
            show_404();
        }
        parent::__construct();
    }
    public function resizeImage($arg1, $arg2) {
        //Whatever logic to resize image, or library call to do so.
    }
}

3—最后一部分是让您在CI中开发一个包装器库(在您的系统/应用程序/库文件夹中),它将有效地包装CloudController的worker调用的功能

    public function _construct() {
        $ci = get_instance();
        //add check to make sure that the value is set in the configuration
        //Ideally since this is a library, pass the app_name in a setter to avoid creating a dependancy on the config object.
        //Somewhere in one of your config files add $config['app_name'] = 'YOUR_APP_NAME/YOUR_DEP_NAME';
        //where APP_NAME and DEP_NAME are cloud controller's app_name and dep_name
        $this->_app_name = $ci->config->item('app_name');
        //Also add: $config['utilities_script'] = 'path/to/utilities.php';
        //This is the script created in step 1
        $this->_utilities_script = $ci->config->item('utilities_script');
    }
    public function run() {
        $args = func_get_args();
        if(count($args) < 1 ) {
            //We expect at least one arg which would be the command name
            trigger_error('Run expects at least one argument', E_USER_ERROR);
        }
        $method = array_shift($args);
        //utilities.php is the file created in step 1
        $command = "cctrlapp " . $this->_app_name . " worker.add ".$this->_utilities_script;
        //Add arguments if any
        $command .= ' "'.implode(' ', $args).'"';
        //finally...
        exec($command);
    }
}

4-现在从任何地方在你的代码中,你实际上想要排队的作业,如果从一个控制器:

$this->load->library('Worker');
//resizeImage will call the method resizeImage in the script controller.
$this->worker->run('resizeImage', $width, $height);

请注意:
1-这可以进一步完善,它真的是给你一个想法,如何做到这一点
2-因为我没有cloudcontroller帐户,我没有测试代码的方法,所以它可能需要调整。公用事业。php脚本我在我的项目中使用,所以这个应该是好的。
好运!

如果您不需要专门的工作器/队列服务器设置,您可以为您的代码编写器安装制作一个小库来管理一个简单的工作队列。

在初始客户端请求期间,您检查生成的图像或缓存中的远程文件不需要(重新)生成,并提供文件。如果需要构建文件或图像,则告诉队列库将其添加到队列中,然后关闭与浏览器的连接。然而,在同一个请求期间,您仍然在控制器的末端处理队列。这样就不需要单独的队列和辅助服务器。

对我来说,http://www.php.net/manual/en/features.connection-handling.php上的评论非常有帮助。你基本上要做如下的事情:(概念证明,参见链接了解详细信息)

header("Connection: close'r'n");  // close the connection
ob_end_flush();                   // flush everything
ob_flush();
flush();
set_time_limit(300);              // set a nicer time-out for the queue-worker
$this->queue_lib->process();      // do processing
sleep(5);                         // or get some of that much needed sleep
echo 'Text user will never see';

在开发和调试期间,您可以暂时禁用close-connection部分并查看任何输出。对于生产,您可以使用log_message()。

队列库功能 (注释到coder/self):当向队列添加文件时,队列库应该检查该文件是否已经在队列中。因为在这种设置中,worker是异步运行的(许多不同的浏览器连接),当一个worker开始处理一个作业时,它应该将job-status设置为"processing"之类的东西,这样就不会有其他worker开始处理相同的作业。或者,您可以通过将整个队列状态设置为"queue-is-processing"(一次一个worker)来设置一个顺序队列。作业(或整个队列)的超时可能也是一个好主意,超时应该比set_time_limit()大一点。这样,您就可以知道作业何时可能失败并更新错误日志。尽早处理队列清理,以确保它们被处理并且不会超出任何超时。

注意:在同一链接页面中,如果您对本地文件系统中的文件进行操作,同时希望使用ignore_user_abort(true)或register_shutdown_function(),那么首先存储工作目录似乎是明智的。$cwd = getcwd();

编辑:


为job-library找到了一个好的起点:http://www.andy-russell.com/job-scheduler-library