语言
高级数据工程师
Linkup
全职🌍 远程📅 2026-09-28
职位描述
我们正在寻找一位顶尖的高级数据工程师加入我们的技术团队，与我们的首席技术官Denis Charrier以及其他技术团队成员密切合作。
职责
- 构建和运营大规模、高吞吐量数据管道，为AI驱动的网页搜索提供支持
- 设计和维护分布式ETL/ELT工作流，用于网页索引、嵌入和数据分析
- 开发和优化跨结构化和非结构化数据源的数据摄取和转换系统
- 管理和扩展数据存储层（SQL、NoSQL和对象存储），以确保性能和可靠性
- 参与架构讨论，为数据基础设施的系统设计做出贡献
- 与机器学习团队和后端团队协作，为排名和检索提供高质量的实时数据
- 编写干净、可维护的代码，并参与代码审查
要求
- 在数据工程或后端开发方面有丰富经验（至少3年）
- 理解分布式系统、数据建模和流架构
- 重视数据质量、可观察性和系统可靠性
- 喜欢调试棘手的管道问题，并针对延迟或吞吐量进行优化
- 对AI基础设施、索引系统和检索增强生成（RAG）有好奇心
- 能够在快节奏、高自主性的初创企业环境中茁壮成长
示例项目
- 在严格的时效性SLA（<5分钟）下，每天处理数十亿条网页事实数据流
- 构建实时数据湖，为大语言模型提供嵌入、metadata和排名特征
- 设计容错管道，用于持续抓取、去重和丰富数据
- 开发内部工具，以监控和分析跨系统的数据流