30-60K·15薪

大模型训练异构系统工程师

岗位职责：
1. 围绕大模型异构训练集群，尤其是非NV GPU大规模异构硬件集群，面向大模型预训练、Finetune等场景进行新模型使能，系统分析/优化，业务支撑等工作，包括分布式优化框架，AI框架，网络集合通信，算子等方面内容
2. 参与美团机器学习平台建设，构建非NV GPU大规模训练场景软件栈和算法迭代Pipeline
3. 负责NLP类大模型的训练端到端流程，包括训练使能，系统调优，关键指标分析和统计，问题定位等工作，支持常见生成式NLP类大模型，包括但不限于LlaMa 1/2, GPT, BLOOM等
4. 负责视觉类，多模态大模型的训练端到端流程，包括模型使能，系统调优，关键指标分析和统计，问题定位等工作，支持常见的视觉类，多模态大模型，包括但不限于ViT，Swin Transformer，Stable Diffusion, MoE等
5. 负责大模型分布式优化框架的系统分析，性能调优，特性开发，问题定位等工作，支持常见的大模型分布式优化框架，包括但不限于Megatron, DeepSpeed, FSDP等
6. 负责PyTorch在非NV GPU场景下系统分析，性能调优，问题定位等工作
7. 负责常见的大模型训练场景下高性能Kernel算子的关键指标分析和统计，融合开发，性能优化等工作
8. 负责大模型不同规模卡数训练场景下集合通信/NCCL关键指标分析和统计，系统定位/调优等工作
9. 负责与NV GPU相同场景进行Benchmark评测，对比验证，性能分析等工作
岗位基本要求：
1. 有扎实的计算机理论基础，熟练掌握C++或Python语言
2. 具备良好的问题分析和一定的解决能力，具有较好的学习能力和好奇心驱动
3. 熟悉NLP类模型训练场景，有GPT，LlaMa 1/2等相关知识和经验者优先
4. 熟悉视觉类，多模态大模型训练场景，有ViT， Swin Transformer, Stable Diffusion, MoE相关知识和经验者优先
5. 熟悉Megatron, Deepspeed, Colossal AI, FSDP等分布式框架，有相关知识、使用和调优经验者优先
6. 熟悉PyTorch分布式场景，有二次开发经验，系统调优知识和经验者优先
7. 熟悉集合通信原理和基本知识，对NCCL有大规模使用，调优经验者优先
8. 熟悉算子开发流程，有CUDA编程知识和相关经验者优先
9. 熟悉NV GPU架构，对其他类型AI芯片有使用经验者优先
岗位亮点：
业界前列的NV GPU和非GPU算力规模，协同算法，AI框架，网络，计算，芯片等多个团队共同建设大模型软、硬件技术底座，接触最前沿的AI Infra基础设施，结合最前沿的AI平台软件栈，支撑最前沿的大模型不同领域的算法探索，从算法到算子，从芯片架构到互联集群，从POC到大规模场景，充满机遇与挑战，兼顾学习和成长，在垂直，水平等多个领域和维度，全面感受大模型带来的技术变革！