- A+
所属分类:python网络爬虫
刚开始对爬虫不是很了解,又没有任何的计算机编程基础,确实有点懵逼。从哪里开始,哪些是最开始应该学的,哪些应该等到有一定基础之后再学,也没个清晰的概念。因为是 Python 爬虫嘛,Python 就是必备的咯,那先从 Python 开始吧。于是看了一些教程和书籍,了解基本的数据结构,然后是列表、字典、元组,各种函数和控制语句(条件语句、循环语句)。学习了一段时间,现在分享一个多线程Python爬虫的例子.
Python3版本里废弃了thread模块,并保留了更强大的threading模块。多线程使得程序内部可以分出多个线程来做多件事情,充分的利用了CPU空闲时间
上面分享python的例子,怎么具备爬虫工程师的思维呢?学习 scrapy,搭建工程化的爬虫
,掌握前面的技术一般量级的数据和代码基本没有问题了,但是在遇到非常复杂的情况,可能仍然会力不从心,这个时候,强大的 scrapy 框架就非常有用了。
scrapy 是一个功能非常强大的爬虫框架,它不仅能便捷地构建request,还有强大的 selector 能够方便地解析 response,然而它最让人惊喜的还是它超高的性能,让你可以将爬虫工程化、模块化。
学会 scrapy,你可以自己去搭建一些爬虫框架,你就基本具备爬虫工程师的思维了。
![weinxin](http://file.az009.com/wp-content/themes/begin/img/python.jpg)
我的微信公众号
爱真理,得永生! 爱在灵灵久博客,网罗天下,福利大家!