利用Selenium和PhantomJS提升网页内容抓取与分析的效率

🕗 发布于 2天前 selenium 测试工具爬虫

核心观点：效率的提升之道

Selenium本身是一个自动化测试工具，用于模拟真实用户操作。直接使用它来爬虫可能会很慢。提升效率的关键在于，将其从“模拟视觉化用户”转变为“高性能的无头数据采集工具”。

第一部分：为什么是 Selenium + 无头模式？

处理动态内容：对于通过JavaScript异步加载数据的页面（如单页应用SPA），传统的Requests库无法获取完整内容。Selenium可以驱动浏览器完整执行JS，直接获取最终渲染的DOM。
绕过简单反爬：可以模拟真实浏览器的行为，如滚动、点击、输入等，使得爬虫行为更接近人类，从而绕过一些基于用户行为检测的反爬机制。
无头模式的效率飞跃：
- PhantomJS的遗产：PhantomJS是早期无头浏览器的代表，不需要图形界面，节省了资源。
- 现代替代品：Chrome和Firefox都推出了原生的无头模式，性能更优，兼容性更好，是当前的主流选择。我们应放弃PhantomJS，转向Chrome/Firefox的无头模式。

第二部分：现代化高效实践（代码示例）

以下示例均使用 Selenium + Chrome 无头模式。

1. 基础设置：启用无头模式并优化选项

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
import zipfile

# 代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 创建Chrome选项
chrome_options = Options()

# 创建代理认证插件
def create_proxy_auth_extension(proxy_host, proxy_port, proxy_username, proxy_password, scheme='http'):
    """创建带有代理认证的Chrome扩展"""
    
    # 插件配置
    manifest_json = """
    {
        "version": "1.0.0",
        "manifest_version": 2,
        "name": "Chrome Proxy",
        "permissions": [
            "proxy",
            "tabs",
            "unlimitedStorage",
            "storage",
            "<all_urls>",
            "webRequest",
            "webRequestBlocking"
        ],
        "background": {
            "scripts": ["background.js"]
        },
        "minimum_chrome_version":"22.0.0"
    }
    """
    
    background_js = """
    var config = {
        mode: "fixed_servers",
        rules: {
            singleProxy: {
                scheme: "%s",
                host: "%s",
                port: parseInt(%s)
            },
            bypassList: ["localhost"]
        }
    };
    
    chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
    
    chrome.webRequest.onAuthRequired.addListener(
        function(details) {
            return {
                authCredentials: {
                    username: "%s",
                    password: "%s"
                }
            };
        },
        {urls: ["<all_urls>"]},
        ['blocking']
    );
    """ % (scheme, proxy_host, proxy_port, proxy_username, proxy_password)
    
    # 创建临时插件文件
    import tempfile
    import os
    from pathlib import Path
    
    plugin_dir = tempfile.mkdtemp()
    plugin_file = Path(plugin_dir) / "proxy_auth_plugin.zip"
    
    with zipfile.ZipFile(plugin_file, 'w') as zp:
        zp.writestr("manifest.json", manifest_json)
        zp.writestr("background.js", background_js)
    
    return plugin_file

# 创建代理认证插件
proxy_plugin = create_proxy_auth_extension(
    proxy_host=proxyHost,
    proxy_port=proxyPort,
    proxy_username=proxyUser,
    proxy_password=proxyPass
)

# 添加插件到Chrome选项
chrome_options.add_extension(proxy_plugin)

# 核心：启用无头模式
chrome_options.add_argument("--headless=new")
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("--disable-gpu")
chrome_options.add_argument("--window-size=1920,1080")

# 可选：禁用图片加载
prefs = {"profile.managed_default_content_settings.images": 2}
chrome_options.add_experimental_option("prefs", prefs)

# 初始化驱动
driver = webdriver.Chrome(options=chrome_options)

try:
    # 测试代理是否生效
    driver.get("https://httpbin.org/ip")
    page_source = driver.page_source
    print(page_source)
    print("代理设置成功！")
    
    # 您的实际爬虫代码
    # driver.get("https://example.com")
    # ... 其他操作
    
finally:
    driver.quit()
    # 清理临时文件
    import os
    import shutil
    plugin_dir = os.path.dirname(proxy_plugin)
    if os.path.exists(plugin_dir):
        shutil.rmtree(plugin_dir)

2. 效率提升技巧：智能等待代替固定休眠

固定使用time.sleep()是效率低下的主要原因。应使用显式等待。

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver.get("https://example.com/dynamic-content")

try:
    # 显式等待：最多等10秒，直到指定元素出现在DOM中
    # 一旦元素出现，立即继续执行，无需等待完10秒
    target_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "dynamic-content-list"))
    )
    
    # 对找到的元素进行操作
    items = target_element.find_elements(By.TAG_NAME, "li")
    for item in items:
        print(item.text)
        
except Exception as e:
    print("元素未在指定时间内加载出来:", e)

3. 高级分析：直接执行JavaScript获取数据

有时，数据直接保存在页面的JS变量中，直接提取比解析HTML更高效。

# 假设页面有一个JS变量：var userData = {name: "John", id: 123};
user_data = driver.execute_script("return window.userData;")
print(user_data) # 直接得到Python字典：{'name': 'John', 'id': 123}

# 或者，用JS进行复杂的DOM查询或操作
all_links_text = driver.execute_script("""
    var links = Array.from(document.querySelectorAll('a'));
    return links.map(link => link.textContent);
""")
print(all_links_text)

第三部分：超越基础，构建稳健的爬虫系统

并发与池化：
- 使用concurrent.futures.ThreadPoolExecutor管理多个浏览器实例。
- 注意：每个WebDriver实例资源开销大，需要根据机器性能谨慎控制并发数。
- 考虑使用selenium-grid进行分布式爬取。

规避检测：

- <font style="color:rgb(15, 17, 21);">现代网站会检测自动化工具。可以使用</font>`<font style="color:rgb(15, 17, 21);background-color:rgb(235, 238, 242);">selenium-stealth</font>`<font style="color:rgb(15, 17, 21);">等库来隐藏Selenium的特征。</font>
- <font style="color:rgb(15, 17, 21);">随机化用户代理、视口大小和鼠标移动轨迹。</font>

python

from selenium_stealth import stealth
# ... 驱动初始化后
stealth(driver,
        languages=["en-US", "en"],
        vendor="Google Inc.",
        platform="Win32",
        webgl_vendor="Intel Inc.",
        renderer="Intel Iris OpenGL Engine",
        fix_hairline=True,
        )

错误处理与重试机制：
- 网络不稳定、元素未找到等情况很常见，必须使用try-except块并实现重试逻辑。

总结：效率提升清单

操作	低效做法	高效做法
浏览器模式	使用有图形界面的浏览器	使用Chrome/Firefox无头模式
等待方式	大量使用`<font style="color:rgb(15, 17, 21);background-color:rgb(235, 238, 242);">time.sleep(n)</font>`	使用`<font style="color:rgb(15, 17, 21);background-color:rgb(235, 238, 242);">WebDriverWait</font>` 显式等待
资源加载	加载所有图片、CSS、字体	禁用图片加载，可选择性阻塞不必要资源
驱动管理	每次任务都创建/销毁驱动	考虑使用驱动池（需自行实现）
数据提取	仅通过`<font style="color:rgb(15, 17, 21);background-color:rgb(235, 238, 242);">page_source</font>` 然后解析	结合`<font style="color:rgb(15, 17, 21);background-color:rgb(235, 238, 242);">execute_script</font>` 直接从JS上下文获取
并发	单线程顺序爬取	多线程/分布式（Selenium Grid）

最终建议：虽然Selenium功能强大，但它始终是资源密集型工具。在爬虫项目中，应遵循 “首选轻量级，不得已再用Selenium” 的原则。首先尝试分析网站的API接口（通过浏览器开发者工具的“网络”面板），能用Requests模拟API调用是速度最快、最稳定的方案。当面对纯JS渲染、且没有清晰API的网站时，Selenium配合无头浏览器才是你的终极武器。

原文地址：https://blog.csdn.net/Z_suger7/article/details/154131132

免责声明：本站文章内容转载自网络资源，如侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：Lua--数据文件和持久性
下一篇：【JavaEE初阶】TCP核心机制4——滑动窗口

Java HashMap深度解析：数据结构、原理与实战指南
本文详细解析了Java HashMap的核心概念与使用方法。HashMap采用数组+链表/红黑树的数据结构，JDK8后引入红黑树优化查询效率。它具有键唯一、值可重复、无序存储、允许null键值等特点，
阅读更多2025-11-07
无zookeeper Kafka 4.1.0 Raft 集群搭建
实现高可用，集群若允许N个controller失败，则需要2N+1个controller组成集群。下面搭建一个3节点的Kafka集群，3个controller，3个broker。Kafka kraft
阅读更多2025-11-07
Kafka4.1.0 队列模式尝鲜
摘要：Kafka 4.1.0版本引入了新的队列消费模型（KIP-932提案），通过共享组协议实现多消费者并发处理消息。文中演示了如何在Docker中配置启用该预览功能，并使用Spring-Kafka框
阅读更多2025-11-07
SNK施努卡机器人玻璃涂胶
机器人能严格按照预设轨迹运行，确保胶条宽度、厚度和出胶速度的绝对一致性，彻底消除了人工操作中因手抖、疲劳导致的断胶、不均等问题，极大提升了产品密封性和外观质量。通过离线编程和视觉引导技术，机器人能够快
阅读更多2025-11-07
监视你的脚本：自动 Linux 活动审计
用于监控关键操作的设置，描述了一个用于分析日志的脚本，并探讨了向 Telegram 添加警报的可能性。您可以自行决定此工具的用途（如果有）。我很乐意听取您对此方法的实用价值的评论并进行讨论。在本文中，
阅读更多2025-11-07
kafka服务端与客户端如何协作？生产者发送消息分区策略是什么？消费者组分区策略？集群与ACK机制？
kafka服务端与客户端如何协作？生产者发送消息分区策略是什么？消费者组分区策略？集群与ACK机制？
阅读更多2025-11-07
2025年具身智能安全前沿：守护机器人时代的防失控策略
具身智能作为人工智能与机器人技术的融合体，在2025年已广泛应用于医疗、制造、交通等领域，但随之而来的安全风险，尤其是机器人失控问题，成为全球关注的焦点。本文深入探讨具身智能的安全性，分析潜在失控原因
阅读更多2025-11-07
中国机器人产业：迅猛崛起与未来征程
2025年前三季度，我国机器人行业营收同比增长29.5%，工业机器人产量达59.5万台，服务机器人产量突破1350万套，均已超2024年全年总量。该平台支持多方在线开展设计评审与标记，其"3
阅读更多2025-11-07
机器学习、深度学习、大模型是什么关系？
人工智能（AI）是一个综合性领域，涵盖了机器学习（ML）、深度学习（DL）和大模型三个层次，其中大模型是深度学习的扩展形态。AI不仅包括学习技术，还涉及感知、推理、决策等多个方面。AI源于计算机科学，
阅读更多2025-11-07
C++_chapter10_C++IO流类库
数据的输入和输出（input/output简写为I/O）；对标准输入设备和标准输出设备的输入输出简称为标准I/O；对在外存磁盘上文件的输入输出简称为文件I/O；对内存中指定的字符串存储空间的输入输出简
阅读更多2025-11-07