代码高亮测试

  • A+
所属分类：编程语言

百度网盘批量 工具  百度云

python代码

 

 

Code   ViewCopyPrint
  1. #-*-coding:utf-8-*-
  2. from selenium import webdriver
  3. import requests
  4. import re
  5. import time
  8. def get_sitemap():
  9.     req = requests.get("http://blog.az009.com/sitemap-posttype-post.201804.xml/")
  10.     pattern = re.compile("<loc>(http://blog.az009.com/.*?.html)</loc>")
  11.     lists = pattern.findall(req.text)
  12.     # print(lists)
  13.     return lists
  15. # firefox_profile = webdriver.FirefoxProfile()
  16. # firefox_profile.set_preference('permissions.default.image', 2)  # 某些firefox只需要这个
  17.     # firefox_profile.set_preference('browser.migration.version', 9001)  # 部分需要加上这个
  18. # 禁用css
  19. #     firefox_profile.set_preference('permissions.default.stylesheet', 2)
  20. # 禁用flash
  21. #     firefox_profile.set_preference('dom.ipc.plugins.enabled.libflashplayer.so', 'false')
  22. # 禁用js
  23. #     firefox_profile.set_preference('javascript.enabled', 'false')
  24. browser = webdriver.Firefox()
  25. # browser = webdriver.Firefox(firefox_profile=firefox_profile)
  26. for i,url in enumerate(get_sitemap()[13:]):
  27.     try:
  28.         browser.get(url)
  29.         print("正在爬取第: {}个网页".format(i))
  30.         js = "var q=document.documentElement.scrollTop=5000"
  31.         browser.execute_script(js)
  32.         time.sleep(1)
  33.     except Exception:
  34.         continue
  36. # browser.close()

weinxin
我的微信公众号
爱真理，得永生！　　　　　　　　　　爱在灵灵久博客，网罗天下，福利大家！

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: