- A+
引言:
F12打开抓包,大概看了抓取的难度不大,接着就开始爬数据环节啦~
1.数据抓取
列表滚动到底部加载更多,猜测是Ajax动态加载数据,直接拦截 XHR
有点明显,随手点开一个:
哟,直接就是我们想要的数据了,接着研究下请求规律。 筛选条件都勾上,获取一波所有的参数,然后再自行搭配。
看下返回的Json,能拿到的参数如下:
字段有:
头像, 出生年份 , 省份 , 性别 , 学历 , 身高 , 交友宣言 , 城市 , 用户id , 昵称
东西都齐了,接着就是把爬到的数据写到csv里了,不难写出这样的代码:
总共有15521条数据,可以,很nice,接着开始胡乱分析环节。
2.安装Jupyter Notebook与pyecharts
点击New,选择一个内核,比如Python3,然后会新建一个 ipynb 后缀的文件, 点开会出现下面的页面:
相关文档:
-
pyecharts官方中文文档
-
pyecharts Github仓库
-
ECharts官方中文文档:5分钟上手ECharts
-
echarts Github仓库
安装方法同样也很简单,直接pip走一波:
pip install pyecharts
安装完之后,直接编写代码绘制地图,地图区域是无法显示,你需要 另外安装地图文件:
特别注明,中国地图在 echarts-countries-pypkg 里。 一般安装第一个就够了,其他看自己吧。 到此就准备好了,接下来开始编码进行数据分析~
2.分析身高
运行结果:
3.分析学历
结果分析
4.分析年龄
运行结果:
5.分析城市
运行结果:
6.分析交友宣言
输出结果
-
1. 妹子身高: 集中在 150-170cm 之间,达到了**94.21%**的占比;
-
2. 妹子学历 :本科和大专是主力军;
-
3. 妹子年龄 :26-30岁的最多,18-25次之,31-40岁的大龄剩女也挺多的;
-
4. 妹子城市分布 :大部分还是集中在北深上广,其次杭州,南京,厦门,福州,成都,武汉,青岛;
-
5. 妹子中意的对象特点 :前八依次是 责任心 , 上进心 , 事业心 , 热爱生活 , 性格开朗 , 脾气好 , 孝顺父母 , 安全感
所有源码:不想敲的话!就到群里来找吧!
小猪学Python系列!谢谢阅读!