常用参数如下:
使用示例:
例1:抓取页面到指定文件,如果有乱码可以使用iconv转码
例2:模拟浏览器头(user-agent)
例3:处理重定向页面
例4:模拟用户登陆,保存Cookie信息到cookies.txt文件,再使用cookie登陆
例5:获取HTTP响应头headers
例6:访问HTTP认证页面
例7:通过ftp上传和下载文件
wget(文件下载工具)
常用参数如下:
使用示例:
例1:下载单个文件到当前目录下,也可以-P指定下载目录
例2:对于网络不稳定的用户可以使用-c和–tries参数,保证下载完成
例3:下载大的文件时,我们可以放到后台去下载,这时会生成wget-log文件来保存下载进度
例4:可以利用—spider参数判断网址是否有效
例5:自动从多个链接下载文件