-
岗位职责:
1、负责爬取外网图文、视听等资源的持续爬取工作;
2、负责反爬虫策略研究,代理IP、验证码识别等采集支撑服务建设;
3、负责大规模文本、图像数据的抓
-
岗位职责:
1、根据项目需求,负责爬虫调研、评估、开发及维护等全流程工作。
2、参与爬虫系统的架构设计、开发与优化。
3、参与攻克反爬风控手段。
4、主动完善监
-
岗位职责:
1.负责公司现有爬虫产品的维护;
2.负责指定领域数据的定向抓取,深度提取.清洗和结构化;
3.解决封印.封账号.验证码.页面跳转等难点;
4.参与
-
岗位职责:
1、负责公司的重要爬虫项目的方案设计,工程实现;
2、负责解决数据采集过程中的时效性,以及各类反爬问题
3、对项目内外部数据进行存储优化、清洗、加工
-
Python爬虫工程师
岗位职责:
1.参与网页端及移动端爬虫系统的开发与维护工作;
2.设计合理的爬虫策略,优化抓取流程,提升数据抓取效率和质量;
3.研究
-
【岗位职责】
1. 数据采集开发与维护
*负责核心平台(Instagram, Threads, Facebook 等)数据采集爬虫的开发和迭代维护。
*确保采集
-
工作职责:
1. 参与分布式爬虫系统的设计与开发,核心模块研发工作,改进和提升爬虫效率
2. 攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库
3
-
1.得物app数据爬取
2.其他平台数据爬取
3.国外网站数据爬取
4.其他开源信息爬取
-
1.负责Python后端开发工作,能够独立承担研发职责,对代码、设计质量、数据质量负责;
2.负责网页、APP的数据抓取和爬取链路优化(包括逆向分析、脱壳、加密
-
职位描述
1、负责猎芯采集系统的建设,负责建元器件知识图谱,深度学习体系,
2、负责页面的抓取采集,处理网络数据抓取规划、汇总,具备搭建数据采集平台,建立爬虫系
-
1.负责公司旗下大数据平台数据采集,入库
2.攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库
3.实时监控爬虫的进度和警报反馈
-
岗位职责:
1.负责设计和开发稳定高效的网络爬虫系统;
2.设计爬虫策略和反爬虫规则,提升网页抓取的效率和质量;
3.负责针对复杂反爬技术的破解和绕过,包括但不
-
岗位职责:
1. 负责根据业务需求/规划开展爬虫工作,同时对现有爬虫进行维护和完善;
2. 持续进行爬虫核心技术研究和策略优化,攻克疑难技术问题,设计防屏蔽规则
-
岗位职责:
1、需求分析与方案设计:与业务团队紧密合作,理解数据采集的具体需求,包括数据类型、采集频率、目标平台等,并设计合理的手机群控数据采集方案,包括设备配
-
岗位职责:
1、负责定向数据的采集与爬取、解析处理、入库及备份等数据日常工作;
2、研究主流网站的爬取方法及数据清洗处理,负责非定向数据的清洗、整理、整合及合并
-
岗位职责:
1.设计并实施高级爬虫策略,以高效地收集和分析网站数据。
2.与团队合作,优化爬虫流程和技术,提高数据质量和采集效率。
3.监控和应对网站的反爬虫措
-
职位名称:爬虫工程师
职位描述:
- 熟练掌握Python爬虫算法,了解常用的数据爬取库和数据存储系统;
- 熟悉Web scraping、数据挖掘、
-
需要对海外的反爬虫系统 有成熟的方案。
能突破 px3 datadome akamai的风控。
实现协议并发。
-
一、任职要求(并不表示部分条件未达到则一定不会聘用):
1.熟练使用Python标准库和流行的第三方库,精通Python语言;
2.熟悉以下主流服务器端开源系统
-
职位名称:爬虫工程师
岗位职责:
1. 负责设计、开发和维护高效稳定的网络爬虫系统,采集海量数据。
2. 分析目标网站结构,制定合理的数据抓取方案,确保数据的完
-
岗位职责
● 根据业务需求开发网页爬虫
● 对爬取的数据进行标注与清洗
● 负责爬虫项目的部署与运维
任职要求
1. 技术能力
● 熟练掌握 Python/PH
-
一、岗位职责
1、数据采集开发:负责设计并开发爬虫系统,精准采集目标电商平台(美客多、SHEIN等)的商品、销量、评论、关键词等公开数据。
2、反爬虫攻克:应对
-
岗位职责:
1、负责大规模数据采集系统的架构设计与开发,确保高可用性、高并发及稳定性;
2、优化爬虫策略,提升数据抓取效率,降低被封禁风险;
3、处理动态渲染页
-
1、设计、开发基于Python的应用及系统爬取数据;
2、负责工具类应用系统的设计与开发;
3、负责App接口逆向开发;
4、进行后端开发,使用Python编写
-
岗位的工作地点是在广州,非外包外派,全自研,大规模数据采集。
目前业务增长,初级-中级-高级-资深都有HC,薪资会根据面试评估职级来定。
岗位职责:
1、发挥
-
岗位职责:
1.参与公司核心项目的架构设计和代码实现,解决技术难题
2.挖掘AI应用场景,并在公司推动落地
能力要求:
1、计算机科学、人工智能或相关领域大专及
-
【岗位职责】
1.核心数据采集: 负责各类Web端目标数据源的自动化采集,特别是主流电商平台(如pdd、dy、jd、kuaishou、tb等)的数据获取。
2.
-
要求:一定要有海外站点经验!!!
岗位职责:
1、负责公司爬虫系统的设计、研发与维护;
2、设计爬虫策略与算法,提升抓取效果;
3、持续优化系统,提高系统的稳
-
岗位职责
1、负责跨境电商(亚马逊、Shopify等)、海外社媒平台等数据采集平台的设计与开发,实现自动化数据爬取和API对接
2、构建和维护分布式爬虫系统,
-
负责设计和开发高效稳定的网络爬虫系统,完成数据采集、清洗和存储;
解决反爬机制(如验证码、IP封禁、动态加密等),优化爬虫性能与稳定性;
参与数据抓取策略制定,