「特征平台技术专家-Flink/Spark/Hudi招聘」

吴女士

感兴趣

字节跳动 ·HR

职位描述

【职位描述】
团队介绍：字节跳动推荐架构团队数据生态方向，负责字节跳动旗下超10亿用户产品推荐系统架构离线数据存储的设计和开发，保障系统稳定和高可用；针对推荐系统中不同的数据流实现高效灵活的数据存储和计算，支持丰富的存储语义。为推荐/搜索/广告业务提供高性能低成本的数据存储与用户友好的数据管理。
1、作为技术专家，负责开发抖音和国际化直播推荐系统离线特征和样本宽表，并且在火山引擎上输出到toB；
2、打造行业领先的样本宽表，做到全球化部署的EB规模宽表和最大数百Gbps的吞吐，并且具有上万维稀疏特征；
3、打造行业领先的特征宽表，支持实时、微批、批量物化到在线的索引和特征服务，打造高时效链路；
4、打造业界领先的离在线存储、批式流式计算框架等分布式系统，并应用于特征平台、样本平台为海量数据和大规模业务系统提供可靠的基础设施；
5、打造业界领先的湖仓一体存储，用于支持实时归因分析并对样本进行Labeling；
6、协同美国和新加坡团队将技术方案在全球化部署，并满足数据安全和满足所在地法律。
【职位要求】
1、对常见大数据计算系统Spark/Flink有框架源码级别了解，有过二次开发经验者优先；
2、对Hudi、Iceberg、DeltaLake等至少一项数据湖技术有源码级别了解，有实践落地/二次开发等经验请在简历显著位置标注；
3、熟悉HDFS的原理和使用，对列式存储格式，Parquet/ORC的原理有了解加分；
4、有其他大数据系统/框架经验加分，Hive、HBase、Kudu等；
5、有数仓建模经验的加分；
6、熟悉Java、C++、Rust等编程语言，有强悍的编码和 trouble-shooting 能力；
7、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情，有PB级别数据处理经验加分；
8、有在搜广推做过支持业务的特征平台、样本平台相关经验的加分。

公司介绍

字节跳动成立于2012年3月，公司使命为“Inspire Creativity, Enrich Life（激发创造，丰富生活）”。公司业务覆盖150个国家和地区，拥有15万名员工。
字节跳动在全球推出了多款有影响力的产品，包括今日头条、抖音、西瓜视频、飞书、Lark、PICO、剪映、TikTok等。截至2021年6月，字节跳动旗下产品全球月活跃用户数超过19亿。

完整信息