- A+
互联网是一张大网，采集数据的小程序可以形象地称之为爬虫或者蜘蛛。
爬虫的原理很简单，我们在访问网页时，会点击翻页按钮和超链接，浏览器会帮我们请求所有的资源和图片。所以，你可以设计一个程序，能够模拟人在浏览器上的操作，让网站误认为爬虫是正常访问者，它就会把所需的数据乖乖送回来。
爬虫分为两种，一种像百度（黑）那样什么都抓的搜索引擎爬虫。另一种就是开发的，只精确地抓取所需的内容：比如我只要二手房信息，旁边的广告和新闻一律不要。
爬虫这样的名字并不好听，所以我给这套软件起名为Hawk，指代为"鹰"，能够精确，快速地捕捉猎物。 基本不需编程，通过图形化拖拽的操作来快速设计爬虫，有点像Photoshop。它能在20分钟内编写大众点评的爬虫（简化版只需3分钟），然后让它运行就好啦、在这里我还是要介绍一下小编的学习交流的群，有什么不懂的问题，都可以在群里踊跃发言，需要啥资料随时在群文件里面获取自己想要的资料。这个python群 227435450就是小编期待大家一起进群交流讨论，讲实话还是一个非常适合学习的地方的。各种入门资料啊，进阶资料啊，框架资料啊 爬虫等等，都是有的，风里雨里，小编都在群里等你
有些编程根底的爬虫小白来说，学习到python爬虫的编程套路，你也不一定会真正理解爬虫，灵敏运用。
各种爬虫实战的文章、案例、全程代码等等，也如漫天星斗，数不胜数，有的爬豆瓣、知乎、群众点评，有的爬淘宝、京东、58同城，有的爬微信、博客、论坛等等。。
我已经的学习困惑：会模拟但不会使用
我也已经基于案例或实战去学习python爬虫，比方Urllib库、模仿阅读器、正则表达式、Beautiful Soup的用法等等。
我只会模拟他人的顺序形式，却不会融会贯穿。
就像上面两个图，右边是淘宝某件服装的信息（非广告，仅是举例），左边是该网页的编码，我们在解析完网页之后，如何把139.00的价钱抓取出来？即使我们可以用复杂的find（）函数把它找出来，那万一这个网页中还有另外一个139.00元的商品呢？怎样准确定位？
更重要的是，当我们掌握了淘宝网页的信息爬虫形式，那麼换一个网站，比方京东？我们还能套用之前的形式吗？
现实上，我犯了一个错误，当我拥有了python这一爬虫工具后，我就自以爲掌握了爬虫的钥匙，无坚不摧，所向无敌，但是我无视了所针对的对象——网页是千变万化，多种多样的，掌握了一种办法，不一定能用在其他中央。只要掌握了对象的实质与共通点，你才干融会贯穿。
已经有个综艺节目《奔跑吧，兄弟》，常常有的一个游戏环节就是在一座大厦里，有很多楼层、房间，在很多角落里藏着包括信息或物件的盒子，让游戏者去找。
而爬虫就相当于我们手里有了一个机器人，它会替代我们去向这座大厦发送拜访请求，会假装本人来应对反爬虫机制，会将整个大厦的布局降维输入，构成立体图（文本），会依据立体图精准定位每个房间的某个标志爲price的盒子，并将一切房间的一切盒子里的信息抓取到。
学爬虫之前无妨学一些复杂的网页构造根底
磨刀不误砍柴工。我在学习很多python爬虫案例之后，依然很怅惘，但是当我开端学习了一些网页根本架构知识，入手做完一个复杂静态网站之后，恍然大悟，面对千变万化的网页，我晓得它的一些共通点，我晓得如何在各种材料的协助下关于任何一个生疏网站，都可以去获取我想要的信息。
这样也就可以——既见树木又见森林，树木是每一个网页的不同点，在python爬虫时，结合不同手腕完成；森林则是一切网页的内在结构，即相通之处，面对不计其数个不同网站，我们也能找到爬取的关键所在。
