curl 似乎不适用于“动态 blogspot 模型”


curl seems not working for "dynamic blogspot models"

cURL:我正在尝试获取/保存一些"动态模型的blogspot"的html页面,例如:

http://jackturf.blogspot.fr/

我在dos命令行上的简单试用:

"D:'EXE_UTIL'CURL'curl.exe"  -o "d:'temp.html" "http://jackturf.blogspot.fr/"
Received=21597 bytes  

但是谷歌浏览器 CTRL-S 保存到 HTML 完整页面 = 160 kb!

我使用 curl 很多年了,即使使用 cookie 也总是可以的,但现在有了这个"谷歌动态模型",我不知道如何获得完整的 html 页面大小?

我的cURL版本:(我也确实尝试了其他几个以前的版本...

curl 7.39.0 (i386-pc-win32) libcurl/7.39.0 OpenSSL/1.0.0o zlib/1.2.8 libidn/1.18 libssh2/1.4.3 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap pop3 pop3s rtmp rtsp scp sftp smtp smtps telnet tftp 
Features: AsynchDNS IDN Largefile SSPI SPNEGO NTLM SSL libz 

有人有dos命令行工作的解决方案吗?

简单的流量分析显示,JSON 源可用于解析。试试这个:

"D:'EXE_UTIL'CURL'curl.exe" -o "d:'temp.json" "http://jackturf.blogspot.fr/feeds/posts/default?alt=json&orderby=published"

大小的差异是由于curl没有在页面内执行JavaScript引起的,而您的浏览器在使用CTRL-S保存之前确实执行了JavaScript(从而更改了HTML)。

要获得相同的结果,您必须在保存之前在页面内执行JavaScript。这在 curl 中是不可能的,因此您可能需要研究其他替代方案。