Python爬虫库之selenium使用

最新推荐文章于 2026-05-28 12:01:03 发布

原创最新推荐文章于 2026-05-28 12:01:03 发布 · 353 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

Python爬虫学习

本文介绍了如何安装并配置Google Chrome浏览器及其对应的ChromeDriver，以进行无头浏览器自动化测试。通过Python的Selenium库，展示了如何开启无头模式、定位网页元素、模拟输入和点击操作，以及进行延时处理。此外，还提到了XPath插件xpathhelper用于辅助查找网页元素。

安装

安装google浏览器，以及对应版本的驱动器chormeDriver，配置环境变量
下载：https://chromedriver.chromium.org/security-considerations
推荐讲driver复制到chorme所在文件目录

在这里插入图片描述

安装库
在这里插入图片描述

安装无头浏览器

https://blog.csdn.net/weixin_42657078/article/details/81544624

在这里插入图片描述

Chrome无头

from selenium.webdriver.chrome.options import Options
chrome_options = Options()
# 增加无头
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# 防止被网站识别
chrome_options.add_experimental_option('excludeSwitches',['enable-automation'])

browser = webdriver.Chrome(chrome_options = chrome_options)

打开和关闭浏览器

from selenium import webdriver
browser = webdriver.Chrome() #括号里能放绝对路径
browser = webdriver.PhantomJS() #无头浏览器的绝对路径，没调试好
browser.close()

打开网址

browser.get("")

寻找节点

node = browser.find_element_by_xpath("//span") #寻找单节点

来个例子

多借点：
node = browser.find_elements_by_xpath("//span") #寻找单节点

xpath插件：xpath helper（浏览器插件）

找到节点之后，可以通过node.text

若只想爬取静态网页，并且不想学习网页语言：text = browser.page_source

模拟在框中输入信息

input = browser.find_elementby_xpath("//input")
input.send_keys(" ") #要输入字的话

点击按钮

button = browser.find_element_by_xpath('') #找到按钮
button.click() #不推荐不稳定
browser.execute_script(""， button)

延时

browser.implicitly_wait(10) #延迟10s

鼠标操作

from selenium.we