-
岗位职责:
1. 负责业务数据爬虫平台开发;
2. 负责爬虫数据清洗任务开发;
任职要求:
1. 本科及以上学历,计算机基础扎实,熟练掌握一门或多门主流编程语
-
职位描述
工作地点可在杭州或广州
1. 设计、开发、维护、重构分布式网络爬虫,从各种网站、APP中抓取并清洗结构化数据。
2. 负责持续运营和更新爬虫程序,识别
-
岗位职责
1、负责分布式爬虫系统架构的设计和开发;
2、负责对采集数据进行清洗、去重、结构化处理;
3、负责对反爬机制的研究分析,提升采集数据的成功率;
4、负
-
岗位职责:
1、负责IOS/Android 应用的逆向
2、对核心数据结构,关键路基,关键算法,提供关键算法的正向实现。还原提取数据
3、熟悉主流app的安全封
-
职位描述
1. 设计、开发、维护、重构分布式网络爬虫,采集并清洗结构化数据。
2. 负责持续运营和更新爬虫程序,识别和解决数据源变化和其他问题。
3. 爬虫性能
-
职位描述
1、遵循robots协议,爬取互联网上允许搜索爬虫采集的公开信息,参与爬虫系统的建设与优化,满足各类业务数据需求;
2、 负责分布式爬虫系统的建设,优
-
任职要求:
1、Python主程序员,本科及以上学历,有3-5年以上相关项目经验;
2、熟悉Windows、Linux系统,精通Python以及常用的应用服务:
-
岗位职责:
1、负责公司内部数据采集系统的整体架构设计,制定爬虫策略和技术选型;
2、带领爬虫团队完成各类网站/App 的数据抓取、清洗、存储及更新任务,确保数
-
【岗位职责】
1、负责各大航空公司官网或者APP数据采集;
2、负责网页爬虫架构设计(包括基础资源,如代理池技术、反爬技术、浏览器采集技术等等)与核心技术研发;
-
我们正在为小众游戏玩家打造一款“大额挂单预警神器”——通过监控游戏交换所的交易数据,实时推送异常大单到微信,帮助玩家抓住商机。现在需要一位热爱技术、喜欢游戏的你
-
岗位职责:
1.设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析工作,实2.时监控爬虫的进度和告警反馈;
3.负责国外航空公司票价及库存的爬取采集,调优
-
1、根据产品需求,负责功能模块设计,编码及单元测试,按时保质保量完成任务;
2、系统开发基础资源框架的不断升级完善及组件积累;
3、系统日常维护,优化改进,确保
-
岗位职责:
1.负责护知云爬虫项目的开发与维护
2.参与爬虫算法的设计与优化
3.与团队合作,确保爬虫系统的稳定运行
任职要求:
1.对爬虫技术有浓厚兴趣,愿
-
职位描述
岗位职责:
1、负责数据采集系统的技术架构设计与核心功能开发;产品开发和技术研究工作,解决各类技术疑难问题;
2、负责数据抓取收集的框架搭建和维护;
-
岗位职责
1. 参与并主导爬虫项目研发,持续优化抓取性能与系统稳定性;
2. 设计高效的采集策略与反屏蔽规则,提升抓取成功率与数据质量;
3. 搭建并完善数据采
-
一、任职要求(并不表示部分条件未达到则一定不会聘用):
1.熟练使用Python标准库和流行的第三方库,精通Python语言;
2.熟悉以下主流服务器端开源系统
-
会JS、APP逆向。
能独立完成顶像、极验、树美等常见的逆向工作。
-
岗位职责:
1.对指定的网站进行网页抓取、数据提取、破解反爬策略;
2.负责多平台信息抽取、数据清洗、入库、服务化等研发和优化工作;
3.参与开发和设计分布式网
-
岗位职责:
1.设计并实施高效的爬虫系统,确保数据的稳定性和准确性;
2.对抓取的数据进行处理和分析,包括数据清洗和存储;
3.针对反爬虫机制进行技术攻关,优化
-
1.负责抓取指定新闻网站、社交网站、论坛数据、搜索引擎数据,对结果进行分析、清洗、格式化、存储;
2. 负责维护抓取程序的监控和报警,并且快速修复问题;
3.
-
岗位职责:
1. 设计并开发高并发、高可用的分布式爬虫系统,实现对结构化和非结构化数据的高效抓取。
2. 针对复杂网页结构(包括JS渲染、加密接口、反爬机制)开
-
【职位描述】
1. 负责Android/iOS/H5加解密和数据传输分析、拆解、逆向、协议分析等工作;
2. 研究App算法还原,安全分析等;
3. 负责行
-
岗位职责:
1. 负责 Web/App 多平台数据采集系统的开发、维护与迭代;
2. 负责网页内容、接口数据及动态渲染页面的数据抓取与解析;
3. 负责采集系统
-
任职要求:
1、熟悉瑞数,阿里云盾,5秒盾等反爬技术
2、熟悉js逆向或者app逆向
岗位职责:
1、基于IOS/安卓抓取数据,基于web,微信小程序抓取数据
-
工作职责:
1.负责Web网页数据及接口的抓取工作,包括动态网页、API接口以及小程序的数据抓取,确保数据抓取的准确性和时效性。
2.开发并维护小程序接口抓取系
-
职位名称:高级爬虫开发工程师
岗位职责
1. 参与分布式爬虫系统和数据采集系统的架构设计及开发,进行多平台信息的抓取采集和分析工作。
2. 负责网页信息和AP
-
岗位职责:
1、负责网络爬虫系统的设计与开发工作;
2、负责多平台的信息抓取、解析等研发与优化工作;
3、负责对现有采集渠道功能的扩展;
4、负责对其它工作的支
-
岗位职责:
1. 负责Web 引擎核心模块的研发与深度优化,主导爬虫场景下的定制化功能设计、开发及落地,支撑分布式爬虫系统的高性能运行;
2. 规划并搭建全链路
-
岗位职责:
1、参与分布式爬虫和数据采集系统的架构设计和开发;
2、负责网络数据抓取规划、清洗以及汇总的开发工作;
3、定期爬取指定网站的数据,为业务部门
-
岗位职责
1. 负责电商自动化业务流程开发;
2. 负责 App/网页 自动化框架搭建与维护,包括元素定位、操作模拟、异常恢复等模块开发;
3. 研究平台风控规