关于我们
Pinwheel API 是一家领先的数据基础设施公司，通过安全的 API 实现对就业和收入验证数据的无缝访问。该公司为美国市场的金融科技公司、贷款机构、人力资源平台和金融服务提供薪资连接功能。
职位概述
作为 AI 网络爬虫工程师（隐形数据采集），您将负责设计和构建可扩展的、具备弹性的、难以检测的数据收集系统。这不是一个简单的 "requests + BeautifulSoup" 角色——我们需要的是一位能够应对现代反爬虫基础设施（Cloudflare、PerimeterX、DataDome、Akamai、Kasada）并知道如何在提取结构化数据时保持隐身状态的人。您将整合基于 AI/LLM 的解析技术，以处理动态的、非结构化的或频繁变化的页面布局，并构建能够自动检测布局/DOM 变化并适应的自愈爬虫。
职责
- 隐形爬虫管道开发 – 设计、构建和维护能够规避机器人检测、指纹识别和限速防御的隐形爬虫管道。
- 反机器人逆向工程 – 对目标网站的反自动化措施（TLS/JA3 指纹识别、canvas/WebGL 指纹识别、行为检测）进行逆向工程，并构建应对策略。
- 分布式基础设施架构 – 使用住宅/移动代理、headless 浏览器农场以及会话/cookie 管理来构建分布式爬虫基础设施。
- AI 驱动的解析集成 – 整合基于 AI/LLM 的解析技术，以处理动态的、非结构化的或频繁变化的页面布局，而无需使用脆弱的选择器。
- 自愈爬虫开发 – 构建能够自动检测布局/DOM 变化并适应的自愈爬虫。
- 监控与迭代 – 监控爬虫的健康状况、成功率和检测信号；当网站修补防御措施时，迅速迭代。
- 合规与法律保障 – 确保数据管道符合客户定义的法律和道德保障措施（ToS 审查、robots.txt 处理、限速），并按照 Pinwheel 法律/合规团队指示执行。
- 数据管道协作 – 与数据工程团队合作，将干净、结构化、去重的数据集交付到下游系统。
要求
- 4 年以上大规模构建生产级网络爬虫系统的经验（不仅仅是脚本——真正的基础设施）。
- 深入的实际操作经验，包括 headless 浏览器自动化（Playwright、Puppeteer、Selenium），包括隐形插件/补丁。
- 有实际经验能够击败或绕过 Cloudflare、DataDome、PerimeterX、Akamai Bot Manager、Kasada 或类似的反机器人系统。
- 对 TLS 指纹识别、HTTP/2 指纹识别、canvas/WebGL 指纹识别以及浏览器指纹欺骗有深入理解。
- 有大规模住宅/移动/数据中心代理轮换和会话管理的经验。
- 精通 Python 和/或 Node.js/TypeScript 进行爬虫和编排。
- 有使用 LLMs/AI 模型进行内容提取、解析和分类的经验，处理混乱/非结构化的 HTML。
- 熟悉 CAPTCHA 解决方法和检测规避策略。
- 必须居住在美国，并获得在美国工作的授权。
- 必须在开始工作前通过标准背景调查。
- 能够在目标网站频繁改变防御措施的情况下，在快速变化、迭代的环境中工作。
加分项
- 有移动应用 API 逆向工程的经验（除了网络）。
- 在对抗性机器学习或反机器人研究方面有背景（无论是哪一方）。
- 有使用分布式任务队列（Celery、Kafka、SQS）进行爬虫编排的经验。
- 之前在数据即服务、替代数据或网络情报公司工作过。
福利
- 以美元计薪
- 完全远程工作
- 在国际公司中的职业发展