30-60K·16薪

大数据研发工程师

上海3-5年本科

Java 数仓建设经验 大数据开发经验 计算机相关专业
立即沟通
刘先生
感兴趣

拼多多集团-PDD ·大数据研发工程师

职位描述

职位详情
[岗位职责]
针对数据仓库、搜索、推荐、机器学习等场景,优化EB级大数据存储系统的性能和成本,提供跨地域可横向扩展的能力,构建元数据系统,提供业务自动化迁移能力:
1. 参与超⼤规模的下⼀代分布式元数据存储服务的研发⼯作,建立全局统一的目录树结构,简化上层应用与底层存储的交互,开发⽅案解决多租户场景下的统⼀命名空间⽬录树的扩展性、性能、平衡性、稳定性等问题
2. 参与改造开源HDFS系统,以解决100k+集群规模下的NameNode性能及内存瓶颈问题,数据层热点,稳定性,⼀致性等挑战,提升扩展性以⽀持数据及集群规模的⾼速增⻓
3. 优化大数据存储系统(HDFS)的效能,使用多层次存储、EC编码等手段降低运营成本,利用操作系统层缓存、内存、NVME等设备优化存储系统的读写性能,提高上层应用的效率;
4. 开发大数据存储系统(HDFS)的跨地域方案,利用有限的带宽和资源实现对用户透明、一致性的使用体验,保障存储系统多地域的可横向扩展性;
[任职要求]
1. 扎实的计算机理论和编程基础,熟悉常见的分布式理论和系统,熟悉JVM和Linux
2. 对Hadoop生态组件熟悉,在大数据计算和存储相关领域有相关研发经验并有产品落地
3. 具备科学清晰的问题解决思路,良好的沟通能力以及团队协调能力,崇尚数据价值和数据决策,富有责任心
[加分项]
1. 有开发和运维过大数据系统经验
2. 参与开源项目开发和向开源社区提供过代码

公司介绍

拼多多于2018年7月26日正式登陆纳斯达克全球精选板块,股票代码:PDD。
拼多多是中国新电商模式的开创者,目前拥有超过3.44亿的活跃买家和超过170万活跃商家。
在以人为先的理念下,拼多多融合物质消费与精神消费,用户可以通过拼单,与好友分享买到便宜好货的快乐。
同时,拼多多还构建了分布式AI智能代理网络,将商品与消费者进行匹配,帮助海量订单精准触达制造工厂,在C2M模式下为消费者创造“便宜有好货”的价值。
拼多多目前拥有五千多名员工,平均年龄仅26岁,其中70%毕业于世界知名高校,大量工程师曾服务于谷歌、微软等一流互联网公司。
拼多多恪守本分价值观,致力于构建一个独立的公众机构,满足最广大用户的消费需求。我们永不放弃做正确的事,永不放弃为最广大人民群众创造价值。

工商信息

上海寻梦信息技术有限公司

法定代表人:赵佳臻 注册资本:1000万人民币
成立日期:2014-01-09 经营状态:存续

工作地址

上海长宁区金虹桥国际中心娄山关路533号
拼多多集团-PDD

上海寻梦信息技术有限公司

互联网已上市 1000-9999人

更新于:2024-11-06
下载APP确定

已安装?在APP中 直接打开