# 灵梭RPA 教程文档 - 数据提取 ## 目录 - [概述](#概述) - [1. 批量数据获取](#1-批量数据获取) - [本页抓取](#本页抓取) - [多页抓取](#多页抓取) - [全部页抓取](#全部页抓取) - [2. 网页截图](#2-网页截图) - [整个网页截图](#整个网页截图) - [元素截图](#元素截图) - [3. 获取网页信息](#3-获取网页信息) - [4. 监听网页请求](#4-监听网页请求) - [使用技巧](#使用技巧) - [常见问题](#常见问题) --- ## 概述 **数据提取**就像从网页上"复制"数据一样，可以把网页上的文字、图片、信息等抓取下来。包括批量抓取数据、截图、获取网页信息、监听网络请求等功能，帮你快速收集网页上的各种数据。 ### 主要功能 - ✅ **批量数据获取**：自动抓取网页上的相似元素（比如商品列表），可以抓一页、多页或全部页 - ✅ **网页截图**：给网页拍照片（可以拍整个网页，也可以只拍某个元素） - ✅ **获取网页信息**：获取网页的网址、标题、源代码等 - ✅ **监听网页请求**：监听网页发送的网络请求（比如API接口） - ✅ **获取监听结果**：获取监听到的网络请求的响应数据 --- ## 1. 批量数据获取 **批量数据获取**就像自动复制网页上的数据一样，可以自动抓取网页上相似的元素（比如商品列表、新闻标题等），支持抓一页、多页或全部页，是数据采集的核心功能。 ### 功能说明 - **抓取相似元素**：自动找到页面上所有相似的元素，把它们的文字、属性等抓取下来 - **多页抓取**：可以指定抓几页（比如抓前5页） - **全部页抓取**：自动翻页，把所有页的数据都抓完 - **保存到CSV**：可以把抓到的数据保存到CSV文件（Excel可以打开） - **自动滚动**：抓取前可以自动滚动到页面底部（触发懒加载） - **翻页间隔**：翻页时可以设置等待时间（避免操作太快） ### 需要填什么？ | 参数 | 说明 | 必填 | 默认值 | | ----------------- | ------------------------------------------------- | ------ | -------- | | tab对象 | 要在哪个网页抓取？填标签页变量名，比如`{{网页1}}` | ✅ | - | | 操作元素css/xpath | 要抓取什么元素？填选择器，比如`.商品标题` | ✅ | - | | 抓取页数 | 抓几页？选"本页"、"多页"或"全部" | ✅ | 本页 | | 下一页按钮表达式 | 如果抓多页，要填"下一页"按钮的选择器 | 看情况 | - | | 页数 | 如果选"多页"，要填抓几页（比如5） | 看情况 | - | | 自动下滑滚动 | 抓取前要不要滚动到底部？ | ❌ | false | | 保存到CSV表格 | 要不要保存到CSV文件？ | ❌ | false | | CSV文件路径 | 如果保存CSV，要填保存路径，比如`D:\data.csv` | 看情况 | data.csv | | 保存变量至 | 把抓取结果存到哪个变量？填变量名，比如`商品列表` | ✅ | - | ### 抓取模式选项 - **本页**：只抓当前页面的数据（不翻页） - **多页**：抓指定页数的数据（比如抓前5页） - **全部**：抓所有页的数据（自动翻页，直到没有下一页） ### 什么时候用？ - **抓商品信息**：抓电商网站的商品名称、价格、图片等 - **抓新闻列表**：抓新闻网站的标题、链接、发布时间等 - **抓搜索结果**：抓搜索结果的标题、描述、链接等 - **抓表格数据**：抓网页表格里的数据 - **抓列表信息**：抓各种列表页的信息（比如用户列表、订单列表等） --- ### 本页抓取只抓当前页面的数据，不翻页。适合数据都在一页上的情况。 #### 什么时候用？ - **数据都在一页**：所有数据都在当前页，不需要翻页 - **测试选择器**：快速测试一下选择器对不对，能不能抓到数据 - **单页足够**：一页的数据就够用了 #### 示例 **示例1**：抓取商品标题列表 ```html

商品A

商品B

商品C

``` ``` 配置： tab对象：{{product_tab}} 操作元素css/xpath：.product-title 抓取页数：本页保存变量至：product_titles ``` **输出结果**： ```python product_titles = ['商品A', '商品B', '商品C'] ``` **示例2**：抓取新闻列表并保存到CSV ``` 步骤1：打开网页 - 网址：https://news.example.com - 标签页名称：news_tab 步骤2：批量数据获取 - tab对象：{{news_tab}} - 操作元素css/xpath：.news-title - 抓取页数：本页 - 保存到CSV表格：勾选 - CSV文件路径：D:\data\news_titles.csv - 保存变量至：news_list ``` **说明**： - 抓取所有`.news-title`元素的文本 - 同时保存到变量和CSV文件 - CSV文件中每行一条标题 --- ### 多页抓取抓取指定页数的数据，比如抓前5页。适合你知道要抓几页的情况。 #### 需要填什么？ - **下一页按钮表达式**：必须填"下一页"按钮的选择器（系统用这个按钮来翻页） - **页数**：必须填要抓几页（比如5，就是抓5页） - 系统会自动翻页，每页都抓取数据 #### 示例 **示例1**：抓取前5页的搜索结果 ``` 配置： tab对象：{{search_tab}} 操作元素css/xpath：.search-result-title 抓取页数：多页下一页按钮表达式：#pagination-next 页数：5 保存变量至：search_results ``` **说明**： - 先抓当前页的数据 - 然后点击"下一页"按钮 - 重复5次，总共抓5页数据 **示例2**：使用变量控制抓取页数 ``` 前置步骤：设置变量 - 变量名：max_pages - 变量值：10 批量数据获取： tab对象：{{list_tab}} 操作元素css/xpath：//div[@class='item']/h3 抓取页数：多页下一页按钮表达式：//a[text()='下一页'] 页数：{{max_pages}} 自动下滑滚动：勾选保存变量至：all_items ``` **说明**： - 页数可以用变量（比如`{{max_pages}}`） - 用XPath找"下一页"按钮（比如`//a[text()='下一页']`） - 每页抓取前会自动滚动到底部（触发懒加载） --- ### 全部页抓取自动翻页，把所有页的数据都抓完，直到没有下一页为止。 #### 为什么用这个？ - **不用知道总页数**：不知道有几页也没关系，系统会自动抓完 - **自动判断**：系统会自动判断还有没有下一页 - **适合动态列表**：适合页数不固定的列表（比如评论、搜索结果） #### 什么时候停止？系统会在这些情况下停止抓取： 1. **找不到下一页按钮**：页面上没有"下一页"按钮了 2. **按钮不可见**：按钮被隐藏了（比如CSS隐藏） 3. **按钮不可点击**：按钮被禁用了（比如disabled） 4. **出错了**：翻页或抓取时出错了 #### 示例 **示例1**：抓取所有评论 ``` 配置： tab对象：{{comment_tab}} 操作元素css/xpath：.comment-text 抓取页数：全部下一页按钮表达式：.next-page 保存变量至：all_comments ``` **说明**： - 系统会一直翻页抓取，直到没有下一页 - 当找不到`.next-page`按钮时，就停止 - 所有评论都保存到`all_comments`变量里 **示例2**：完整的数据采集流程 ``` 步骤1：打开网页 - 网址：https://blog.example.com/articles - 标签页名称：blog_tab 步骤2：批量数据获取（文章标题） - tab对象：{{blog_tab}} - 操作元素css/xpath：.article-title - 抓取页数：全部 - 下一页按钮表达式：.pagination-next - 自动下滑滚动：勾选 - 保存到CSV表格：勾选 - CSV文件路径：D:\data\articles.csv - 保存变量至：article_titles 步骤3：获取列表长度 - 列表对象：{{article_titles}} - 保存列表长度至：total_count 步骤4：日志输出 - 输出内容：共抓取 {{total_count}} 篇文章 ``` --- ### 高级设置 #### 翻页间隔时长 - **默认值**：1秒 - **说明**：每次翻页之间的等待时间 - **建议**： - 网络较慢：增加到2-3秒 - 防止反爬：增加到3-5秒 - 快速抓取：保持1秒 #### 自动下滑滚动 - **功能**：每页抓取前自动滚动到底部 - **用途**： - 触发懒加载 - 加载动态内容 - 确保所有元素可见 --- ### 数据处理抓取后的数据处理示例： **示例1**：数据去重 ``` 步骤1：批量数据获取 - 保存变量至：raw_data 步骤2：列表去重 - 列表对象：{{raw_data}} - 保存结果至：unique_data ``` **示例2**：数据筛选 ``` 步骤1：批量数据获取 - 保存变量至：all_data 循环：foreach列表循环 - 列表：{{all_data}} - 保存当前循环项至：item 条件判断：if条件 - 对象1：{{item}} - 关系：包含 - 对象2：关键词列表插入一项： - 列表：{{filtered_data}} - 插入内容：{{item}} ``` --- ### 注意事项 1. **选择器准确性**： - 确保选择器能匹配所有目标元素 - 使用浏览器开发者工具测试选择器 - 避免过于具体的选择器 2. **翻页按钮定位**： - 下一页按钮必须唯一且稳定 - 确认按钮在所有页面都存在 - 注意按钮的文本可能变化（如"下一页"变成"2"） 3. **性能考虑**： - 大量数据抓取需要较长时间 - 建议使用"多页"模式限制页数 - 增加翻页间隔避免触发反爬 4. **数据完整性**： - 某些元素可能为空 - 动态加载的内容需要等待 - 建议使用"自动下滑滚动" --- ## 2. 网页截图 **网页截图**就像给网页拍照片一样，可以把整个网页或某个元素保存成图片。 ### 功能说明 - **整个网页截图**：把当前可见的整个网页拍下来 - **元素截图**：只拍网页上的某个元素（比如某个按钮、某个区域） - **保存截图**：把截图保存到指定文件夹 - **返回路径**：把截图文件的路径保存到变量里（方便后面用） ### 需要填什么？ | 参数 | 说明 | 必填 | 默认值 | | ----------------- | -------------------------------------------------- | ------ | -------- | | 网页对象 | 要截哪个网页？填标签页变量名，比如`{{网页1}}` | ✅ | - | | 截图区域 | 截什么？选"整个网页"或"网页元素" | ✅ | 整个网页 | | 操作元素css/xpath | 如果选"网页元素"，要填元素选择器 | 看情况 | - | | 保存文件夹 | 截图保存在哪个文件夹？填路径，比如`D:\screenshots` | ✅ | - | | 截图保存位置 | 把截图文件路径存到哪个变量？填变量名 | ✅ | - | ### 什么时候用？ - **保存页面状态**：把某个时刻的网页状态保存下来 - **记录操作结果**：操作后截图，看看结果对不对 - **数据验证备份**：把数据截图保存，作为备份 - **问题排查**：出问题时截图，方便排查 - **生成报告**：自动生成带截图的报告 --- ### 整个网页截图对当前可见的整个网页进行截图。 #### 示例 **示例1**：简单的网页截图 ``` 配置：网页对象：{{main_tab}} 截图区域：整个网页保存文件夹：D:\screenshots 截图保存位置：screenshot_path ``` **说明**： - 截图会保存到`D:\screenshots`文件夹 - 截图文件的路径会保存到`screenshot_path`变量（比如`D:\screenshots\screenshot_20240101_120000.png`） - 文件名会自动生成（包含时间戳，不会重复） **示例2**：带时间戳的截图 ``` 步骤1：获取当前日期 - 保存当前时间至：current_time 步骤2：文本操作（格式化时间） - 保存结果至：timestamp 步骤3：网页截图 - 网页对象：{{page_tab}} - 截图区域：整个网页 - 保存文件夹：D:\backup - 截图保存位置：backup_image ``` **示例3**：截图并发送通知 ``` 步骤1：网页截图 - 网页对象：{{report_tab}} - 截图区域：整个网页 - 保存文件夹：D:\reports - 截图保存位置：report_screenshot 步骤2：发送邮件 - 附件：{{report_screenshot}} - 主题：自动化报告 - 正文：请查收截图 ``` --- ### 元素截图只对指定的网页元素进行截图。 #### 优势 - 文件更小 - 焦点更集中 - 适合局部截图 #### 示例 **示例1**：截取图表元素 ``` 配置：网页对象：{{dashboard_tab}} 截图区域：网页元素操作元素css/xpath：#sales-chart 保存文件夹：D:\charts 截图保存位置：chart_image ``` **说明**： - 只截取id为`sales-chart`的元素 - 不包含页面其他内容 **示例2**：循环截取多个元素 ``` 前置步骤：设置变量 - 变量名：element_ids - 变量类型：列表 - 变量值：['chart1', 'chart2', 'chart3'] 循环：foreach列表循环 - 列表：{{element_ids}} - 保存当前循环项至：current_id 网页截图： - 网页对象：{{report_tab}} - 截图区域：网页元素 - 操作元素css/xpath：#{{current_id}} - 保存文件夹：D:\charts - 截图保存位置：temp_path 自定义等待时长：0.5秒 ``` --- ### 需要注意什么？ 1. **文件夹要存在**： - 确保保存截图的文件夹存在，或者有创建权限 - 用绝对路径更可靠（比如`D:\screenshots`） 2. **元素要看得见**： - 元素必须在可见区域内（不能滚动到屏幕外面） - 隐藏的元素截不了图 - 建议先滚动到元素位置再截图 3. **文件格式**： - 默认保存为PNG格式（图片格式） - 高质量无损压缩（图片质量好） 4. **等待时间**： - 元素截图会等元素出现 - 默认等20秒，如果还没出现就报错 --- ## 3. 获取网页信息 **获取网页信息**就像查看网页的基本信息一样，可以获取网页的网址、标题、源代码等。 ### 功能说明 - **获取网址**：获取当前网页的完整网址（URL） - **获取网页标题**：获取网页的标题（浏览器标签页上显示的文字） - **获取网页源代码**：获取整个网页的HTML源代码（网页的代码） ### 需要填什么？ | 参数 | 说明 | 必填 | 默认值 | | -------------- | ---------------------------------------------------------- | ---- | -------- | | tab对象 | 要获取哪个网页的信息？填标签页变量名，比如`{{网页1}}` | ✅ | - | | 操作 | 要获取什么？选"获取网址"、"获取网页标题"或"获取网页源代码" | ✅ | 获取网址 | | 存贮网页信息至 | 把结果存到哪个变量？填变量名，比如`网页标题` | ✅ | - | ### 操作类型 - **获取网址**：获取当前网页的完整网址（比如`https://www.baidu.com/search?q=test`） - **获取网页标题**：获取网页的标题（比如"百度一下，你就知道"） - **获取网页源代码**：获取整个网页的HTML源代码（网页的代码，可以用来分析） ### 什么时候用？ - **记录访问的页面**：记录访问了哪些网页（把网址存起来） - **验证页面跳转**：检查一下跳转后的网址对不对 - **解析页面源码**：获取网页源代码，然后分析里面的数据 - **数据备份**：把网页信息保存下来，作为备份 - **日志记录**：记录操作日志（比如记录访问了哪些页面） ### 示例 **示例1**：获取当前网址 ``` 配置： tab对象：{{main_tab}} 操作：获取网址存贮网页信息至：current_url ``` **输出示例**： ``` current_url = "https://www.example.com/page?id=123" ``` **示例2**：获取页面标题 ``` 配置： tab对象：{{page_tab}} 操作：获取网页标题存贮网页信息至：page_title ``` **输出示例**： ``` page_title = "首页 - 示例网站" ``` **示例3**：获取网页源代码并分析 ``` 步骤1：获取网页信息 - tab对象：{{analysis_tab}} - 操作：获取网页源代码 - 存贮网页信息至：html_content 步骤2：文本操作（提取内容） - 内容源：{{html_content}} - 提取方式：提取自定义内容 - 正则表达式：(.*?) （提取class是content的div里的内容）方法2：用执行JS脚本 - 执行js脚本： var parser = new DOMParser(); var doc = parser.parseFromString(html, 'text/html'); return doc.querySelector('.content').textContent; （用JavaScript解析HTML，提取内容） ``` ### Q6: 怎么抓取动态加载的内容？ **A:** 推荐的方法： ``` 方法1：用监听网页请求（最推荐） - 直接获取API数据 - 速度快，数据准确 - 不用等页面渲染方法2：等元素出现后抓取 - 先用"等待元素"节点等元素出现 - 然后用"批量数据获取"抓取方法3：用自动下滑滚动 - 启用"自动下滑滚动"选项 - 触发懒加载，让所有内容都加载出来 - 然后再抓取 ``` --- ## 实战案例 ### 案例1：电商商品价格监控 ``` 场景：定期抓取商品价格并保存步骤1：打开网页 - 网址：https://shop.example.com/product/123 - 标签页名称：product_tab 步骤2：批量数据获取（价格） - tab对象：{{product_tab}} - 操作元素css/xpath：.price - 抓取页数：本页 - 保存变量至：current_price 步骤3：获取当前日期 - 保存当前时间至：timestamp 步骤4：新建字典 - 保存字典对象至：price_record 步骤5：设置键值对 - 字典：{{price_record}} - 键名：time - 值：{{timestamp}} 步骤6：设置键值对 - 字典：{{price_record}} - 键名：price - 值：{{current_price}} 步骤7：json对象转换成文本 - json对象：{{price_record}} - 保存文本至：json_text 步骤8：追加写入文件 - 文件路径：D:\data\price_history.txt - 内容：{{json_text}} ``` ### 案例2：新闻文章采集 ``` 场景：采集所有新闻文章并保存步骤1：打开网页 - 网址：https://news.example.com - 标签页名称：news_tab 步骤2：批量数据获取（标题） - tab对象：{{news_tab}} - 操作元素css/xpath：.article-title - 抓取页数：全部 - 下一页按钮表达式：.next-page - 自动下滑滚动：勾选 - 翻页间隔时长：2秒 - 保存到CSV表格：勾选 - CSV文件路径：D:\news\articles.csv - 保存变量至：articles 步骤3：网页截图（保存最后一页） - 网页对象：{{news_tab}} - 截图区域：整个网页 - 保存文件夹：D:\news\screenshots - 截图保存位置：final_page 步骤4：获取网页信息 - tab对象：{{news_tab}} - 操作：获取网址 - 存贮网页信息至：final_url 步骤5：日志输出 - 输出内容：采集完成，共{{articles.length}}篇文章，最后页面：{{final_url}} ``` --- ## 更新日志 - **v4.2.4**：优化了批量数据抓取的稳定性 - **v4.2.0**：新增了监听网页请求功能 - **v4.1.0**：增强了截图功能 --- ## 技术支持如果您在使用过程中遇到问题，可以通过以下方式获取帮助： - 💬 在线客服：访问官网获取在线支持 - 📖 文档中心：查看完整的产品文档 --- **文档版本**：v1.0 **最后更新**：2026年

数据提取教程