python学习 三 03 再爬一个网站,根据分页,下载图片

  • A+
所属分类:编程语言

Python安装

python学习 一 python语法,及变量类型

python学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载

python学习 三 01 再爬一个网站,几行代码,搞定分类类别

python学习 三 02 再爬一个网站,获得所有分页

根据所有分页文件,下载图片

书接上回,我们已经递归创建了类别,获得了所有分页信息,下一步就是根据分页信息获得所有的图片。

为此,我们再看看网页,红线部分的图片,就是我们要抓取的图片。

看下对应的源码:

也就是说,我们要获取这个div下的所有IMG标签

python学习 三 03 再爬一个网站,根据分页,下载图片

为此写了个获得指定DIV下所有IMG标签的函数

分两步,第一步,找到分页文件

python学习 三 03 再爬一个网站,根据分页,下载图片

第二步,解析分页文件,并下载img

python学习 三 03 再爬一个网站,根据分页,下载图片

这其中又涉及到了解析,解析部分我想单独放在一个文件中,这个文件就是作为封装各种解析来用的。

python学习 三 03 再爬一个网站,根据分页,下载图片

最后就是多线程方式下载,

python学习 三 03 再爬一个网站,根据分页,下载图片

下载我也单独放到一个文件中了,这个文件打算主要做下载用

python学习 三 03 再爬一个网站,根据分页,下载图片

总结: 下载网站中的图片,分成三个步骤:

1、 根据网站类别,创建本地类别

2、 获得所有分页

3、 根据分页,下载图片

至此,爬图片过程,就告一阶段,下节主要介绍下,这一阶段所用的知识及逻辑组织方式

weinxin
我的微信公众号
爱真理,得永生!          爱在灵灵久博客,网罗天下,福利大家!

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: