Ubuntu下Selenium+Chrome无界面爬虫模式

通常的写jio本流程是，写好jio本->运行jio本->看程序运行流程是否正确（最好可视化）->进入无界面模式（节省系统资源，增加运行速度）

代码供上，大家自行体会：
# coding:utf-8
import time
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
chrome_options.add_argument('window-size=1920x3000') #指定浏览器分辨率
chrome_options.add_argument('--disable-gpu') #谷歌文档提到需要加上这个属性来规避bug
chrome_options.add_argument('--hide-scrollbars') #隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument('blink-settings=imagesEnabled=false') #不加载图片, 提升速度
#chrome_options.add_argument('--headless') #浏览器不提供可视化页面. linux下如果系统不支持可视化不加这条会启动失败

driver=webdriver.Chrome(chrome_options=chrome_options)
driver.get('https://www.baidu.com')

drive.find_element_by_id("kw").send_keys("doraemon") #输入doraemon
drive.find_element_by_id("su").click() #点击百度一下

print (driver.page_source.encode(‘utf8’)) #查看搜索后网页源代码
driver.quit() #退出浏览器

解说一下吧，按照jio本，我们应该可以看到浏览器被启动，打开baidu，接着输入框自动输入doraemon字段并被点击百度一下，然后浏览器退出；命令行出现网页源代码。
验证正确后，我们可以加上文件头被#注释的一句chrome_options.add_argument(‘–headless’)，来让程序进入无界面爬虫模式

部分代码来自：https://www.cnblogs.com/z-x-y/p/9026226.html，感谢原文作者大大，若有侵权请联系我，十分感谢！

,

评论

2018哆啦的小屋
哆啦成长的 天
浙ICP备17034619号-2 - 友情链接 - Theme by Qzhai

扫码加群