爬虫工程师被企业劝退！特此写了一篇劝退文！希望大家能慎重！

一个爬(fei)虫(pin)的诞生

基于程序员必备的 搜索技能 ，我迅速的在github上找到了一个相似的爬虫代码。

于是，很快，我的爬虫欢乐地运行了起来。

并且，满(nei)怀(liu)热(man)情(mian)地花了1个多月时间为自己的爬虫补坑(手动再见。

部署服务器

解决了验证码登录的问题，程序又一次跑了起来，此时就需要部署到服务器上了。

selenium的浏览器chrome不利于在服务器上运行，于是我学会了将selenium结合无头浏览器 phantomjs 使用。

服务器是新开的，环境还需要配置，于是我又学会了 配置服务器的基本操作 。

此时的代码为了多线程的配合，将所有的与爬虫无关的，获取cookies，存取数据信息，都分离了出来，所有的通信都只存在于redis之间，这样爬虫的速度就得到了大幅度的提升。

get到技能了嘛？爬虫工程师说要掌握的不多也不多，但是说很少的话也不少了！