爬虫工程师

【岗位职责】负责设计和开发分布式爬虫系统，采集互联网公开数据。维护和优化现有爬虫脚本，确保数据采集的稳定性和效率。处理反爬机制，如IP封禁、验证码识别等。参与数据清洗和预处理工作，为后续分析提供高质量数据。与团队协作，完成数据采集任务的规划与执行。 【任职要求】2027届计算机、软件工程、数学等相关专业在读，实习期3个月及以上。熟悉Python、Go等编程语言，具备爬虫开发经验（Scrapy、Selenium等）优先。熟悉常见网络协议（HTTP、TCP/IP、SMTP等），有邮件服务搭建或Gmail、Outlook等海外邮件系统对接经验者优先。了解大语言模型应用，熟练使用AI编程工具者优先。具备SQL基础，有Git协作开发经验，了解基本的软件工程流程。具备良好的沟通能力、学习能力和团队协作精神，能独立思考和解决问题。