- A+
前言
关于爬虫
网络库
大家有什么问题可以自行参考官方文档，上面会有非常详细的介绍。至于urllib和urllib2这两个库也是比较有用的，以后如果有机会我会再给大家介绍一下。
工作原理
在正式开始介绍爬虫之前，首先来说一下爬虫的基本工作原理，我们知道我们打开浏览器访问某个网址本质上是向服务器发送了一定的请求，服务器在收到我们的请求之后，会根据我们的请求返回数据，然后通过浏览器将这些数据解析好，呈现在我们的面前。
如果我们使用代码的话，就要跳过浏览器的这个步骤，直接向服务器发送一定的数据，然后再取回服务器返回的数据，提取出我们想要的信息。
如何伪装呢？
模拟登陆
所以我们程序就得像浏览器一样，在发送请求的时候，带上这些标志着我们身份的信息，这样就能顺利拿到数据。有的时候，我们必须在登录状态下才能得到一些数据，所以我们必须要模拟登录。
本质上来说，通过浏览器登录就是post一些表单信息给服务器（包括用户名，密码等信息），服务器校验之后我们就可以顺利登录了，利用程序也是一样，浏览器post什么数据，我们原样发送就可以了。
小技巧
如何爬取评论
首先打开网易云音乐的网页版，随便选择一首歌曲打开它的网页，这里我以周杰伦的《晴天》为例。如下图：
接下来打开web控制台(chrome的话打开开发者工具，如果是其他浏览器应该也是类似)，如下图：
然后这个时候我们需要点选网络，清除所有的信息，然后点击重新发送(相当于是刷新浏览器),这样我们就可以直观看到浏览器发送了什么信息以及服务器回应了什么信息。如下图：
刷新之后得到的数据如下
点开这个请求，我们发现它是一个post请求，请求的参数有两个，一个是params，还有一个是encSecKey，这两个参数的值非常的长，感觉应该像是加密过的。如下图：
服务器返回的和评论相关的数据为json格式的，里面含有非常丰富的信息（比如有关评论者的信息，评论日期，点赞数，评论内容等等），如下图9所示：（其实hotComments为热门评论，comments为评论数组）
# 头部信息
# 设置代理服务器
# offset的取值为:
# 获取 encSecKey
# 解密过程
# 获得评论json数据
# 抓取热门评论，返回热评列表
# 抓取某一首歌的全部评论
# 将评论写入文本文件
我利用上述代码跑了一下，抓了两首周杰伦的热门歌曲《晴天》（有130多万评论）和《告白气球》（有20多万评论），前者跑了大概有20多分钟，后者有6600多秒（也就是将近2个小时），截图如下：
附录：那些让人心动的评论
谢谢阅读！
如有侵权请联系小编删除！
