岗位职责：
1、负责离线数仓架构设计及ETL任务开发和维护；
2、负责提升基于HIve、Hbase数据存储集群的高可用性、高性能、高扩展特性；
3、负责设计和建立基于Flink或Spark实时数据处理框架；
4、研究Hadoop/Spark/Hbase/Hive/Flink等开源项目，对线上任务进行调优，并开发通用组件；
5、负责数据接口服务的设计及开发；
6、负责技术攻关和创新技术引用，开发具有数据分析、数据挖掘能力的创新型产品；
任职资格：
1、本科及以上，计算机、软件工程、统计学、数据挖掘、机器学习等相关专业，3年以上大数据相关工作经验；
2、熟练使用java、scala、python等开发语言中的一种；
3、有hadoop和spark、hive、flink实际开发经验。了解大数据组件的使用限制和应用场景，如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,Storm、MongoDB等。
4、熟悉mysql、oracle、ElasticSearch、Redis等关系型或NoSQL数据库，了解应用场景和使用限制；
5、熟悉linux操作系统及常用命令；
6、熟悉HDFS分布式文件系统架构，熟练掌握Hadoop/Hive/hbase的运维和调优方法；
7、熟练使用过azkaban、airflow、apache dolphin等开源调度工具优先。
职位描述
工作地址
北京朝阳区万达广场(北京CBD店)B栋
万达
关注该公司
大连万达集团股份有限公司
其他行业不需要融资 10000人以上
- 热门职位：
- 模拟IC设计工程师招聘 PCB工程师招聘 Node.js招聘 通信项目专员招聘 射频工程师招聘 .NET招聘 电源工程师招聘 有线传输工程师招聘 功能测试招聘 测试工程师招聘 算法研究员招聘 前端开发工程师招聘 核心网工程师招聘 技术总监招聘 网络安全招聘 技术美术招聘 集成电路IC设计招聘 CTO/CIO招聘 系统集成招聘 系统管理员招聘 FAE招聘 项目助理招聘 模拟版图设计工程师招聘 硬件项目经理招聘 Python招聘 芯片测试工程师招聘 风控算法招聘 硬件测试招聘 C/C++招聘 光学工程师招聘
- 推荐公司：
- 仰思研学 童心同饮教育 小鱼儿净水 捷行社地产 唯恋互娱 上海六骏文化艺术中心 科优教育 邯郸市坤驰运输有限公司 湖北威万影业招聘 威海世纪快船贸易有限公司 深圳市盛信通汽车有限公司 连云港比高新能源有限公司 济南会计及出纳招聘 凯来教育科技(重庆)有限公司 河北册诚商贸有限公司 上海晟谐商务咨询有限公司 深圳市利马文化传播有限公司 上海攀索信息科技有限公司 舟山市普陀山空谷幽兰酒店管理有限公司招聘 南京信息安全专家招聘 郑州二七区美工设计师招聘 上海盖瑞施实业有限公司 西安腾科生物科技有限公司 山东冠晨生物科技有限公司 达州市场招聘 江门市炜昊贸易有限公司 茂名市圈圈网络科技有限公司 阿荣旗明磊家庭农场有限公司 阜阳市福来油脂有限公司 中国石油规划总院算法工程师招聘
更新于：2024-12-23