-
岗位职责:
1、从事网页及APP数据采集的技术研发工作;
2、负责设计爬虫策略及反爬规则,提升数据采集效率、完整度和稳定性; 3、负责智能采集系统设计与研发
-
岗位职责:
1.负责自动化脚本,爬虫脚本
2.熟悉反爬原理,有成熟的绕过网站屏蔽解决方案
3.熟练python技术,框架
4.完成上级领导临时交办的其他工作
-
岗位职责:
1、设计和开发网页、APP数据爬虫;
2、爬虫框架开发;
3、数据清洗入库;
4、与产品有效沟通,对数据负责。
任职要求:
1、本科以上学历,负责数
-
1、负责页面、公众号、App的信息爬取、数据清洗和优化;2、有较强的网站分析能力,熟悉各种反爬机制和解决办法;3、熟练掌握pandas、numpy等技术;4、精
-
1、根据业务需求,实现大规模文本、图片、视频数据抓取、清洗、存储等工作;
2、负责公司的爬虫核心技术研究以及爬虫策略优化;
3、对数据质量负责,提供数据分析报告
-
工作内容:
1.负责用户增长工具的开发,迭代和维护,包括但不限于各类网页端和APP端的增长自动化工具;
2.负责站内站外平台数据的挖掘和分析,和增长专家一起,通
-
1.负责设计开发爬虫系统以及优化爬虫策略,进行多平台信息的抓取和分析
2.设计爬虫策略和防屏蔽规则,完成对复杂网站和APP的信息抓取
3参与业务功能需求探讨,数
-
工作职责
1. 负责分布式爬虫系统建设,进行互联网头部平台(抖音、小红书等)内容采集;
2. 负责通过模拟执行等方式实现批量账号运营动作自动化;
3. 参与大模
-
工作内容
2、负责已有爬虫的运行维护,应对数据源的结构调整、访问
验证、IP屏蔽等问题;
3、负责已有爬虫的性能优化,例如:爬取策略、处理性能、
并发量等;
4
-
岗位职责:
1.负责Web/APP/小程序多端爬虫的开发,解决算法还原,加密,风控等难点攻克,提升抓取的效率和质量;
2.负责分布式采集系统的开发,参与采集系统
-
加入我们,你需要做的:
1. 负责数据平台的数据采集与爬取、解析处理、入库及备份等数据日常工作;
2. 数据采集工具软件平台的开发、测试工作;
3. 负责
-
【岗位职责】
1、负责开发和维护公司网站、社交媒体和其他在线渠道(海外)的爬虫程序;
2、编写自动化数据采集代码,确保数据实时、准确地获取;
3、对数据进行清洗
-
【职责描述】
1. 负责公司核心的爬虫服务的开发,架构的建设和持续优化,负责项目的开发管理工作;
2. 负责高性能,高并发的爬虫框架的迭代,熟悉scrapy,
-
职位描述:
1、负责分布式数据采集产品的设计与研发
2、负责分布式数据采集基础设施软件系统的设计与研发,为大规模数据抓取提供稳定易用网络链路、基础组件等
3、设
-
主要职责:
1. 编写数据采集,清洗的脚本;
2. 对接数据库开发(python),包括数据库中间件,命令行工具等;
3. 参与日常的采集->清洗->衍生计算/
-
岗位职责:
1、负责爬虫系统架构和数据存储设计;
2、建立完整的数据获取、解析、入库和监控流程,并不断优化迭代完善;
3、解决常见的反爬虫问题;
4、理解系统数
-
岗位职责:
1、负责分布式网络爬虫系统的架构设计与开发;
2、攻破各种反爬策略,快速解决各类技术疑难问题,建设反爬对抗组件库;
3、编写抓取互联网爬虫代码,负责
-
岗位要求:
1、负责网络爬虫系统的架构设计与开发,进行数据的爬取、清洗、消重等工作; 负责爬虫核心算法和策略的优化,如反爬虫策略,数据抽取算法等;
2、负责公司
-
大数据采集,入库,调用
初创项目,应聘者可以见证一个项目从诞生到壮大的整个过程,经历项目的全生命周期,并有股份分红激励计划等. 软件开发岗位不限年限,有可展示
-
岗位硬性要求:
了解足球运动,足球基本赛事以及规则!
岗位职责:
1、负责设计和开发分布式网络爬虫系统,进行数据抓取和分析;
2、设计爬虫策略和防屏蔽规则,提
-
工作职责:
1、负责外部数据层建设,专注于数据采集平台建设,负责各类外部数据接入,清洗等技术研发;
2、负责数据平台持续集成相关工具平台的架构设计与产品开发
-
职位名称:爬虫开发工程师
城市:上海
福利:
1.本地健康保险计划或保险津贴
2.灵活的travel安排
3.饮料、点心和水果
4.季节性饮料和生日庆祝活动
5
-
岗位职责】
1、负责各大航空公司官网或者APP数据采集。
2、负责网页爬虫架构设计(包括基础资源,如代理池技术、反爬技术、浏览器采集技术等等)与核心技术研发。
-
工作内容:
1、负责公司采集系统架构开发和性能优化。
2、解决不同站点出现的技术难题,集成到爬虫框架中。
3、爬虫框架工具化,使数据采集人员简单适用,高效采集数
-
岗位职责:
1. 参加基于Java技术的互联网产品开发;
2. 参与系统分析与设计,并负责完成代码编写;
3. 根据开发规范与流程独立完成模块的设计、编码
-
岗位职责:
1、负责搭建以及维护爬虫系统的设计和核心模块的实现
2、负责爬虫技术难点的攻克
3、项目管理和人员指导
工作任职要求:
1、熟
-
1.熟练运用Python写脚本;
2.了解主流抖快微闲等平台;
3.年龄地域不限;
4.任务型兼职,一单一结。
-
兼职或外包项目诚意合作!
岗位职责:
1.数据挖掘,使用爬虫工具,支持和解决公司业务中的各类实际问题;
2.根据需求采集各电商部门需要的数据,支持部门完成数据报
-
1.本科及以上学历,理工类专业,酷爱编程;
2.熟练掌握C/C++、Java或Python语言中的一种,掌握常用算法;
3.熟悉Unix/Linux系统,有
-
职位描述
- 升级与维护游戏SDK的Python flask接口
- 使用go+grpc升级api到微服务架构
- 具有大并发开发经验,负责接口性能优化