Loon是一款功能强大且易于使用的网页截图和内容抓取工具,适合开发者和测试人员。以下是Loon的基本配置方法

安装Loon

  • 使用 pip安装:
    pip install loon
  • 从官网下载: 访问Loon的官方网站,下载对应平台的安装包。

设置环境变量

Loon需要一个API键来获取免费使用次数,以下是如何获取和配置API键的步骤:

  • 获取API键: 访问Loon的官网,注册并登录,进入账户设置,找到API键。
  • 配置环境变量: 在终端中,设置LOON_API_KEY环境变量:
    export LOON_API_KEY='your-api-key'

    替换为你获取到的API键。

配置浏览器

Loon支持多种浏览器,包括Chrome、Firefox和Edge,以下是配置浏览器的方法:

  • 安装浏览器驱动: 根据你选择的浏览器安装对应的驱动:
    • Chrome:
      # Linux
      google-chrome
      # Windows
      google-chrome
      # macOS
      google-chrome
    • Firefox:
      # Linux
      firefox
      # Windows
      firefox
      # macOS
      firefox
    • Edge:
      # Windows
      msedge
      # macOS
      msedge
  • 配置浏览器选项: 在终端中,设置浏览器选项:
    lo browser --set-default "C:/path/to/chrome.exe"  # Windows

    或者在代码中设置:

    lo.set_browser('chrome', path='C:/path/to/chrome.exe')

项目配置(lo.json)

Loon的项目配置文件是lo.json,位于项目根目录下,以下是配置文件的各个字段:

  • base_url:项目的基础URL,用于截图和内容抓取。
  • filter:过滤请求,允许设置请求的匹配规则。
  • exclude:排除特定URL或路径。
  • screenshot:截图配置,包括路径和格式。
  • proxy:配置代理服务器。
  • request:请求管理,设置请求间隔和最大并发数。
  • web_content抓取设置,包括JavaScript渲会和动态内容处理。

示例lo.json:

{
  "base_url": "https://example.com",
  "filter": {
    "path": "^/api/.*"
  },
  "screenshot": {
    "path": "screenshots",
    "format": "png"
  },
  "proxy": {
    "http": "http://proxy.example.com:808",
    "https": "http://proxy.example.com:808"
  },
  "request": {
    "interval": 100,
    "max_concurrent": 5
  },
  "web_content": {
    "enabled": true,
    "javascript": true,
    "wait_for_element": true
  }
}

使用Loon截图

  • 单次截图:
    lo.screenshot("https://example.com", "screenshots/example.png")
  • 滚动屏幕截图:
    lo.screenshot(
      "https://example.com",
      "screenshots/example",
      interval=500,
      steps=10
    )

使用Loon抓取内容

  • 单次抓取:
    lo.content_grab(
      "https://example.com",
      "content/example.html"
    )
  • 滚动抓取:
    lo.content_grab(
      "https://example.com",
      "content/example",
      interval=500,
      steps=10
    )

处理动态内容

Loon支持JavaScript渲会,确保动态内容被抓取:

lo.content_grab(
    "https://example.com",
    "content/example",
    javascript=True,
    wait_for_element=True
)

常见问题

  • 免费版使用次数不足:升级到商业版以获得更多API调用次数。
  • 截图失败:检查浏览器设置是否正确,确保驱动路径正确。
  • 未抓取:确保JavaScript渲会和等待元素配置正确。

通过以上配置方法,你可以高效地使用Loon进行网页截图和内容抓取,满足开发和测试需求。

Loon是一款功能强大且易于使用的网页截图和内容抓取工具,适合开发者和测试人员。以下是Loon的基本配置方法

扫码添加小飞机VPN网络工具官方微信

扫码添加小飞机VPN网络工具官方微信

400-638-2751
扫码添加小飞机VPN网络工具官方微信

扫码添加小飞机VPN网络工具官方微信

网站地图