如何使用jQuery从其他网站抓取内容


How to scrape content from other sites using jQuery?

我正在用PHP做一个NEWS网站项目,为了这个项目,我想使用jQuery/JavaScript从其他NEWS网站获取内容。jQuery中是否有从其他域名中抓取内容的功能?

而且我不想使用巨大的服务器CPU,因为它是一个大学服务器。使用jQuery报废内容会占用巨大的CPU吗?

在Stack Overflow中,我读到了jQuery.get()函数,可以使用该函数从其他网站抓取内容吗?

使用跨域Ajax JQuery插件,您可以这样做:

$.ajax({
    url: 'http://news.bbc.co.uk',
    type: 'GET',
    success: function(res) {
        var headline = $(res.responseText).find('a.tsh').text();
        alert(headline);
    }
});

他们劫持了ajax方法,使用YQL获取html并将其作为JSON返回,然后将其作为字符串来抓取数据。查看Jquery跨域Ajax指南了解更多信息。

你不能。同源政策防止了这种情况。要做到这一点,您需要在使用XMLHTTP的服务器上完成。

我建议您使用PHP中的curl模块来访问新闻网站的rss提要,以收集您想要嵌入的新闻。

设置一个cron进程,定期将RSS提要下载到本地存储,并将其转换为可用于网站的格式。这将有助于降低服务器上的负载,因为你只收集一次新闻,而不是每次访问页面。

您可以在PHP中使用CURL而不是jquery进行数据抓取。您可以在博客中看到使用CURL进行数据抓取:http://www.codefire.org/blogs/item/data-scraping-using-curl-in-php.html