投稿    登录
欢迎来访~

2018年1月月的内容

Python

[Python3网络现金捕鱼开发实战] 7.4-使用Selenium爬取淘宝商品

[Python3网络现金捕鱼开发实战] 7.4-使用Selenium爬取淘宝商品
在前一章中,我们已经成功尝试分析Ajax来抓取相关数据,但是并不是所有页面都可以通过分析Ajax来完成抓取。比如,淘宝,它的整个页面数据确实也是通过Ajax获取的,但是这些Ajax接口参数比较复杂,可能会包含加密密钥等,所以如果想自己构造Ajax参数,还是比较困难的。对于这种页面...

现金捕鱼平台 2018-01-31 22:10 68165浏览 3评论 107喜欢

Python

[Python3网络现金捕鱼开发实战] 7.3-Splash负载均衡配置

[Python3网络现金捕鱼开发实战] 7.3-Splash负载均衡配置
用Splash做页面抓取时,如果爬取的量非常大,任务非常多,用一个Splash服务来处理的话,未免压力太大了,此时可以考虑搭建一个负载均衡器来把压力分散到各个服务器上。这相当于多台机器多个服务共同参与任务的处理,可以减小单个Splash服务的压力。 1. 配置Splash服务 要...

现金捕鱼平台 2018-01-31 22:07 9323浏览 4评论 13喜欢

Python

[Python3网络现金捕鱼开发实战] 7.1-Selenium的使用

[Python3网络现金捕鱼开发实战] 7.1-Selenium的使用
Selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击、下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬。对于一些JavaScript动态渲染的页面来说,此种抓取方式非常有效。本节中,就让我们来感受一下它的强大之处吧。 1. 准备工...

现金捕鱼平台 2018-01-31 20:28 41700浏览 1评论 114喜欢

Python

[Python3网络现金捕鱼开发实战] 6.4-分析Ajax爬取今日头条街拍美图

[Python3网络现金捕鱼开发实战] 6.4-分析Ajax爬取今日头条街拍美图
本节中,我们以今日头条为例来尝试通过分析Ajax请求来抓取网页数据的方法。这次要抓取的目标是今日头条的街拍美图,抓取完成之后,将每组图片分文件夹下载到本地并保存下来。 1. 准备工作 在本节开始之前,请确保已经安装好requests库。如果没有安装,可以参考第1章。 2. 抓取分...

现金捕鱼平台 2018-01-30 20:18 31547浏览 2评论 57喜欢