cURL:我正在尝试获取/保存一些"动态模型的blogspot"的html页面,例如:
http://jackturf.blogspot.fr/
我在dos命令行上的简单试用:
"D:'EXE_UTIL'CURL'curl.exe" -o "d:'temp.html" "http://jackturf.blogspot.fr/"
Received=21597 bytes
但是谷歌浏览器 CTRL-S 保存到 HTML 完整页面 = 160 kb!
我使用 curl 很多年了,即使使用 cookie 也总是可以的,但现在有了这个"谷歌动态模型",我不知道如何获得完整的 html 页面大小?
我的cURL版本:(我也确实尝试了其他几个以前的版本...
curl 7.39.0 (i386-pc-win32) libcurl/7.39.0 OpenSSL/1.0.0o zlib/1.2.8 libidn/1.18 libssh2/1.4.3 librtmp/2.3
Protocols: dict file ftp ftps gopher http https imap imaps ldap pop3 pop3s rtmp rtsp scp sftp smtp smtps telnet tftp
Features: AsynchDNS IDN Largefile SSPI SPNEGO NTLM SSL libz
有人有dos命令行工作的解决方案吗?
简单的流量分析显示,JSON 源可用于解析。试试这个:
"D:'EXE_UTIL'CURL'curl.exe" -o "d:'temp.json" "http://jackturf.blogspot.fr/feeds/posts/default?alt=json&orderby=published"
大小的差异是由于curl
没有在页面内执行JavaScript引起的,而您的浏览器在使用CTRL-S保存之前确实执行了JavaScript(从而更改了HTML)。
要获得相同的结果,您必须在保存之前在页面内执行JavaScript。这在 curl 中是不可能的,因此您可能需要研究其他替代方案。