python学习 三 01 再爬一个网站，几行代码，搞定分类类别

前文，下载了一个图片网站，但是素材还是不够，我希望的是GIF素材，所以又找了一个网站。

下载这些图片的目的，是在进行动图创作、视频编辑的时候，感到素材太少，所以需要爬以下，获得一些素材。

顺便打下小广告，如果有喜欢制作动图的话，可以下载我打造的软件：任性动图

如果喜欢视频编辑的话，可以下载我的另一款软件：任性小视频

第一步，将获得所有主类别

根据主类别，创建本地目录，

将主类别对应的网址，下载下来

看网页源码

创建好的主类别如下

代码如下：

目前，我们将主类别创建成功了，而且主类别目录下，是其对应的网页

第二步,分析主类别网页，创建相应子类别

下图为主类别网页

网页源码如下：

子类别位于class=cat的DIV下

<a>标签的对应的类 class="sidebar-letter"

下面，我们加载这个主类别网页，然后，在这个网页中搜寻子类别信息

首先获得gif目录下的所有子文件夹

然后获得子目录下存放的TXT网页，对此网页进行解析，获得所需的子类别信息，

代码：

最后，根据子类别信息，创建子类别目录，及子类别对应的网页

至此，我们将原网站中对应的类别信息，已经下载下了。

代码：

推倒前面代码，用递归算法重写

注意了，前面写的那么多，要废除了，但是前面也并不是一点作用也没有，而是为了更好的分析

很多时候就这样，并不能一下子就找到正确的方法，就是要在不断的调试，不断的分析后，才能找到更好的策略

我发现，这个网站，并不是严格的几层分类，分类层数不一定，又仔细看了下源码，不管是主分类网页，还是次分类网页，他们的div的类别都是相同的。

而A分类下的子类别accordions下，可能还有子分类，也可能没有子分类。

判断accordions下还没有子分类的方式：

下载网页

看看此网页中是否还有

如果还有，则继续创建类别

这是一个递归创建的过程，所以我将上面的程序重新推到，重新写了个递归算法。

用这几句代码，就可以正确的创建网站类别了。