岗位职责：
1. 负责搭建爬虫系统平台的架构设计与开发，如抓取调度、多样化抓取、页面解析和结构化抽取、海量数据存储和读取等，调研并进行技术选型，优化框架及流程；
2. 研究并制定爬虫策略和防屏蔽规则，提升抓取效率和质量；
3. 负责公司爬虫核心技术开发，维护和优化程序，监控警报反馈，深度挖掘数据，满足公司对多源数据海量、实时、高质量采集要求；
4. 利用主流大数据相关技术，对抓取后的数据进行清晰、存储等，持续优化；
5. 把握爬虫核心技术研究方向，研究优化算法，提升数据抓取解析开发运营效率，解决规模增长带来的技术和业务问题。
岗位要求：
1. 本科及以上学历，计算机相关专业，5年以上网页及APP数据采集经验；
2. 熟悉爬虫原理，分布式架构，精通一种开源爬虫框架及原理，熟悉主流爬虫技术，如协议破解、脱壳、模拟点击、AST解混淆等，能够解决封账号、封IP、验证码等问题；
3. 精通Go/Python任意语言,熟悉MySQL，Redis等；
4. 熟悉Selenium/Puppeteer/PhantomJS至少一种工具的使用。
5. 熟悉xpath/正则表达式/代理池等爬虫相关技术；
6. 具有良好的沟通和团队协作能力，具备良好的数据基础，工作条理清晰，善于学习；
7. 有管理经验，带过团队优先。
职位描述
公司介绍
图森未来成立于2015年，是一家全球化的人工智能科技公司。早期致力于开发全球先进前沿的L4级重卡自动驾驶技术，已在自动驾驶领域开展大模型技术和生成式AI应用的研发与实践。图森未来与上海三体动漫有限公司携手合作，共同打造基于雨果奖获奖科幻小说《三体》系列的首部动画长篇电影及视频游戏，新业务将充分利用图森在自动驾驶领域的技术积累，专注媒体和游戏领域的生成式AI应用。
工作地址
北京朝阳区北京图森未来科技有限公司亮马桥56-1
图森未来
关注该公司
北京图森智途科技有限公司
互联网D轮及以上 100-499人
- 热门职位：
- 集成电路IC设计招聘 驱动开发工程师招聘 数据采集招聘 自动化测试招聘 大模型算法招聘 单片机招聘 性能测试招聘 系统工程师招聘 技术美术招聘 GIS工程师招聘 游戏测试招聘 运维工程师招聘 U3D招聘 销售技术支持招聘 iOS招聘 搜索算法招聘 FPGA开发招聘 全栈工程师招聘 语音/视频/图形开发招聘 区块链工程师招聘 C/C++招聘 通信项目专员招聘 光学工程师招聘 运维总监招聘 ETL工程师招聘 风控算法招聘 嵌入式软件工程师招聘 系统集成招聘 通信电源工程师招聘 软件测试招聘
- 推荐公司：
- 赛文柒号摩托有限公司 浙江全佑机电有限公司 广州市千方文化发展有限公司 武汉红颜容商贸有限公司 苏州sqe助理工程师招聘 北京一得香堂沉香有限公司 上海平起文化传播有限公司 深圳动画总监招聘 万紫千红影业制片助理招聘 湖南省江天网络科技有限公司 合肥瑟思科技有限公司 无极县森豪皮革制品有限公司 广州荣东德建材有限公司 沈阳轮滑教练轮滑助教招聘 安阳明远建筑工程有限公司 梓潼县云蚨商贸有限公司 成都诚信其能商贸有限公司 浙江老娘舅餐饮有限公司海宁银泰餐厅招聘 扬州新力洋贸易有限公司 中正公司市场营销招聘 大余县越野建材有限公司 临汾地推销售专员招聘 恒展远东（北京）国际供应链管理股份有限公司招聘 四川佳禾兴建筑劳务有限公司 绍兴市微骑商贸有限责任公司 重庆欧翰汽车销售有限公司 青岛妙妙多朵工贸有限公司 上海时展化工有限公司 江阴市柯顺缝制设备有限公司 常州阿芬麦吉汉堡店招聘
更新于：2024-10-06