WP网页爬虫不起作用


WP Web Scraper not Working

我正在使用一个插件(WP Web Scraper)和Wordpress 3.6.1在它工作的Wamp服务器上。但是当我在 Web 服务器(Go 爸爸托管)上尝试相同的配置时,它显示错误:网页抓取工具无法获取内容 - 可能无法正常运行

有人可以帮助我吗.为什么它在本地服务器上工作,而不是在 Godaddy 托管服务器上。

function wpws_debug() {
    $url_content = wpws_get_content('http://google.com/','title','','on_error=error_show&cache=10&timeout=2');
    if ( strpos($url_content,'Error ') !== false ) {
        return 'Fatel error: WP Web Scraper could not fetch content - may not function properly';
    } else {
        return false;
    }
}

如果不查看WP Web Scraper库,就不可能确切知道发生了什么,但我怀疑GoDaddy不允许你运行一些特权功能,如file_get_contents();

许多共享主机不允许您执行此类操作,因为它们(非常正确地)担心可能的安全漏洞。

如果您想做诸如网络抓取之类的事情,您可能需要查看云托管或虚拟服务器

wp-web-scraper 中的 functon wpws_get_content 使用原生 WordPress 函数wp_remote_request。上述消息意味着您的 Godaddy 托管环境不允许 http 请求,或者如果您使用的是共享主机,Google 已禁止该特定机器的 ip(wpws_debug只是 ping 谷歌以测试设置)。如果谷歌已经禁止了这个IP,你仍然可以废弃其他网站。

注意:我是wp-web-scraper的作者。如果您需要任何具体帮助,请写信给我 akshay(dot)raje(at)gmail.