数据采集浏览器：合规价格监控与市场调研
Virtual Browser 可作为数据采集浏览器，帮助团队分别保存地区、代理和会话配置，用于自有网站、获授权页面或允许公开访问数据的研究。常见任务包括电商价格监控、商品可用性检查和市场调研。
合规边界
- 只访问自有、已授权或网站明确允许公开访问的数据
- 检查 robots.txt、服务条款、版权、数据库权利和个人信息要求
- 设置合理并发、请求间隔、失败退避和停止条件
- 不绕过验证码、付费墙、身份验证、封禁或其他访问控制
推荐流程
- 记录数据来源、业务目的、字段范围和保存期限。
- 按地区或项目创建环境，并通过代理配置验证出口。
- 在少量页面上验证选择器、频率和数据准确性。
- 使用Playwright 接入执行获得授权的自动化，并保留日志。
- 定期复核网站条款；收到停止要求或访问异常时暂停任务。
质量检查
价格监控应记录币种、税费、地区、登录状态和采集时间，避免把不同条件下的价格直接比较。市场调研结果应标注数据来源和采集日期，删除不必要的个人信息。
