Python3 requests和re库对猫眼电影TOP100进行多进程爬取。

  • A+
所属分类：python网络爬虫

首页测试

  1. # -*- coding: utf-8 -*-
  2. """
  3.  
  4. 爬取的相关信息有：电影名次、电影名称、主演、上映时间、评分
  5.  
  6. """
  8. import re
  9. import time
  10. import requests
  11. from multiprocessing import Pool
  12. from requests.exceptions import RequestException
  15. #根据url获取HTML文件
  16. def getHTML(url, code='utf-8'):
  17. #创建个头文件。
  18.     header = {
  19.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0',
  20.     }
  22.     try:
  23.         response = requests.get(url, headers=header)
  24.         response.raise_for_status()
  25.         response.encoding = code
  26.         return response.text
  27.     except RequestException:
  28.         print('getHTML Error')
  30. #对HTML进行正则表达式处理
  31. def parseHTML(html):
  32.     pattern = re.compile('board-index-.*?">(.*?)</i>.*?class="name">.*?'
  33.                          + '"boarditem-click".*?"{movieId:.*?}">+(.*?)</a>.*?class="star">'
  34.                          + '(.*?)</p>.*?class="releasetime">(.*?)</p>.*?<p class="score">'
  35.                          + '<i class="integer">(.*?)</i><i class="fraction">(.*?)</i></p>', re.S)
  37.     items = re.findall(pattern, html)
  39.     for item in items:
  40.         yield {
  41.             '序号': item[0],
  42.             '电影名': item[1],
  43.             '主演': item[2].strip(),
  44.             '上映时间': item[3],
  45.             '评分': item[4] + item[5],
  46.         }
  48. #把数据保存到本地
  49. def writePAGE(content):
  50.     with open('result.txt', 'a' ) as f:
  51.         f.write(str(content) + '\n')
  52.         f.close()
  54. #编写主函数
  55. def main(page):
  56.     url = 'https://maoyan.com/board/4?offset=' + str(page)
  57.     html = getHTML(url)
  58.     items = parseHTML(html)
  60.     for item in items:
  61.         print(item)
  62.         writePAGE(item)
  65. if __name__ == '__main__':
  66.     start = time.time()
  68. #多进程爬取
  69.     pool = Pool()
  70.     pool.map(main, [page * 10 for page in range(10)])
  71.     pool.close()  # 关闭进程池，不接受新的进程
  72.     pool.join()  # 主进程阻塞等待子进程的退出
  74.     end = time.time()
  75. #打印出最后运行的时间
  76.     print('It spends %s s' % (end - start))
weinxin
我的微信公众号
爱真理，得永生！　　　　　　　　　　爱在灵灵久博客，网罗天下，福利大家！

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: