python学习 三 02 再爬一个网站,获得所有分页

  • A+
所属分类:编程语言

Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

再爬一个网站,获得所有分页信息

到目前为止,我们创建好了网站类别,并且获得了每个类别所链接的网址,其中最底层的类别所对应的网址,就是图片展示列表。

看一下网页,

python学习 三 02 再爬一个网站,获得所有分页

图片展示是分页形式的,看下源码

python学习 三 02 再爬一个网站,获得所有分页

分页信息如上,

分页位于class=pagination的<ul>标签下,我们获得了首页,现在只需获得最后一页就行,最后一页保存在ul的末尾 last page ,我们获得lastpage的索引,中间的页面改变下索引就可以了。

下面我们要做的是获得所有分页信息

为此,我写了递归函数:

python学习 三 02 再爬一个网站,获得所有分页

针对这个网页的分页形式,重写了获得分页函数

python学习 三 02 再爬一个网站,获得所有分页

有了这两个函数之后,我们就可以将所有的分页都下载下来了。

下载下来后,下一步就是下载每个分页对应的图片了。

weinxin
我的微信公众号
爱真理,得永生!          爱在灵灵久博客,网罗天下,福利大家!

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: