大佬分享Python编程实现爬取知乎用户信息的例子

  • A+
所属分类:python网络爬虫

有一天 , 我发现我心仪已久的妹子在朋友圈里分享了知乎专栏的文章 , 就知道她也刷知乎 . 如果在知乎上关注她 , 我就能知道 , 她最近关注什么 , 心里想些什么 , 了解了解她喜欢的方面 , 还能作为谈资 , 简直太好了。有一次我们两个聊天的时候 , 刚好说到了她分享的那篇文章 ,我很自然的说: “知乎上你用的不是真名呀, 就我这么天真用了真名.”她笑着说:”那个可以改呀” ,“凭什么知乎团队不让我改啊!!! “,我答道,” 不如我们互粉吧 ”

哎 , 于是她打开知乎 , 看了看我的主页 , 并没有关注我…… 可能是赞太少了吧… 达不到她的要求 , 或者她不想让我知道她在看什么吧 , 也许她希望自己的知乎是交浅言深 , 不希望被身边人看见,

我回去想了想 , 她说名字可以改 , 那她可能以前也用的是真名 , 找到破绽了!

知乎的名字可以改 , 但是id是改不了的 !

每个人的主页地址 , people后面那个就是TA的id,例如张三同名很多 , 后面就会加上数字. 她的名字拼音相同的较多 , 我试了一下 , 这个数字是不超过100的. 它的组合方式有 zhang-san , zhang-san-1 zhang-san-12-43 依次类推.

好 , 现在我就可以开始寻找她的账号了! 既然她改名了 , 那她名字满足的条件一定是: 昵称的拼音不是真名. 这个用pypinyin模块可以解决 , 这样子 , 需要我人工查看的主页就少很多了.那怎么通过Python爬虫找到她呢?

下面说一下代码的思路,怎么爬取知乎用户信息,这次爬虫用到了递归,本次用的scrapy抓取以及mogodb数据库存储的。

大佬分享Python编程实现爬取知乎用户信息的例子

首先本人是用了一个大V作为爬虫第一个网页,然后分三步,第一步是爬了该大V的详细信息然后存入数据库,第二步是爬取了该大V的粉丝,第三是爬取了该大V 的关注者(其实就是爬取粉丝或者关注者的token_url),完成之后,利用爬取的粉丝以及关注者的数据构造他们每个人详细信息的url,然后挖取详细 信息存入数据库。到这里递归第一步算是完成了,然后爬虫会从每一个粉丝和关注者入手,分别爬取他们的粉丝以及关注者的详细数据,不断递归

在代码里面还有加入了一些自动翻页的功能,有兴趣可以看看。下面是我们item里面定义要抓取的数据:

import scrapyclass ZhihuUserItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
 answer_count = scrapy.Field() #回答数量
 articles_count = scrapy.Field() #写过的文章数
 follower_count = scrapy.Field() #粉丝数量
 following_count = scrapy.Field() #关注了多少人
 educations=scrapy.Field() #教育背景
 description = scrapy.Field() #个人描述
 locations = scrapy.Field() #所在地
 url_token =scrapy.Field() #知乎给予的每个人用户主页唯一的ID
 name=scrapy.Field() #用户昵称
 employments = scrapy.Field() #工作信息
 business=scrapy.Field() #一些工作或者商业信息的合集
 user_type =scrapy.Field() #用户类型,可以是个人,也可以是团体等等
 headline =scrapy.Field() #个人主页的标签
 voteup_count = scrapy.Field() #获得的赞数
 thanked_count=scrapy.Field() #获得的感谢数
 favorited_count = scrapy.Field() #被收藏次数
 avatar_url = scrapy.Field() #头像URl

代码一共不足80行,运行了一分钟就抓了知乎一千多个用户的信息,这里上张结果图

大佬分享Python编程实现爬取知乎用户信息的例子

由上图可以看到,知乎用户中学生用户占据多数,其它的比如产品经理、程序员、运营、HR数量也不少。我们看一下具体的排名(前十名):

去除学生后,知乎主流职业比重从大到小依次是(前十名):产品经理、自由职业、程序员、工程师、设计师、腾讯、教师、人力资源(HR)、运营、律师。可以看到,除了一些互联网公司的常见职位外,教师和律师用户在知乎中也占据不小的比重。

我知道伸手党确实十分惹人厌,我明白知友辛苦耕耘、分享知识、经验和见解都是对其他知友以及互联网,甚至社会的贡献。知乎的出现,其实是在为社会进步出力。但当我们谈起知乎的时候,我们谈的是什么?

对知乎来说,她存在的意义在用户身上。况且,我相信知乎团队这个有梦想、有担当的团队,知乎团队一定了解并清楚地认识到自己的处境和立足点。祝知乎越来越好!大家加油!

weinxin
我的微信公众号
爱真理,得永生!          爱在灵灵久博客,网罗天下,福利大家!

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: