职位描述
(大模型预训练方向)
岗位职责
1.参与开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练;
2.参与NLP、多模态大模型结构设计,并联合业务进行模型训练效率和效果验证;
3.参与文生图、文生视频、文生3D等业务的训练性能加速
4.参与低精度训练性能优化和业务推广、参与大窗口训练性能优化
岗位要求
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化。
2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向。
3.有ViT、SD、DiT模型训练性能优化经验者优先。
4.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先。
5.对大模型前沿技术比较敏锐者优先。
6.有实际大模型的训练调参和效果评测项目经验的优先;
7.良好的沟通能力、解决问题能力。
岗位职责
1.参与开发优化大模型训练框架,支持单任务万卡以上规模高效稳定训练;
2.参与NLP、多模态大模型结构设计,并联合业务进行模型训练效率和效果验证;
3.参与文生图、文生视频、文生3D等业务的训练性能加速
4.参与低精度训练性能优化和业务推广、参与大窗口训练性能优化
岗位要求
1.熟练使用PyTorch框架,可对DDP训练的代码进行性能分析和优化。
2.熟练使用主流大模型训练框架DeepSpeed、Megatron,掌握3D并行、ZeRO机制、Flash-Attn等的原理、使用场景、优劣势以及可优化方向。
3.有ViT、SD、DiT模型训练性能优化经验者优先。
4.熟练掌握CUDA性能优化手段,有算子编写优化项目经验者优先。
5.对大模型前沿技术比较敏锐者优先。
6.有实际大模型的训练调参和效果评测项目经验的优先;
7.良好的沟通能力、解决问题能力。
- 热门职位:
- iOS招聘 Node.js招聘 项目助理招聘 系统管理员招聘 大模型算法招聘 系统安全招聘 ETL工程师招聘 Android招聘 数据分析师招聘 区块链工程师招聘 驱动开发工程师招聘 CTO/CIO招聘 系统集成招聘 全栈工程师招聘 宽带装维招聘 Cocos招聘 网络安全招聘 语音/视频/图形开发招聘 搜索算法招聘 UE4招聘 性能测试招聘 销售技术支持招聘 项目经理/主管招聘 运维工程师招聘 硬件测试招聘 规控算法招聘 FAE招聘 数字IC验证工程师招聘 通信项目经理招聘 PCB工程师招聘
- 推荐公司:
- 鸿图浩海 长沙聚合赢信息科技 哈尔滨沃阳科技发展招聘 河北冠创机械制造有限公司 长沙飞沃达贸易有限公司 新泰市乐口百货有限公司 赣州凡派文化传播有限公司招聘 长之企成企业人力资源专员招聘 桂林餐饮收银服务员招聘 沈阳游戏ui招聘 福建省永联汽车用品有限公司招聘 徐州格尔工程设备有限公司 江苏凝盛商贸有限公司 装饰公司业务员鐩稿叧招聘 茂名市冠亚建材有限公司 惠州市奥斯顿贸易有限公司 阿里巴巴集团零售通招聘 襄阳诚曼商贸有限公司 保康县艳阳商贸有限公司 上海犇虞文化传播有限公司 北京光素电子商务有限公司招聘 安奇卡索教育科技模特老师招聘 红绿灯企业咨询管理抖音运营招聘 温州美发助理及学徒招聘 河南大头鱼信息科技有限公司 上海灏永企业管理有限公司 成都启盛商贸有限公司 天涯若比邻客户代表招聘 四川舒寰建筑劳务有限公司 上海浦东日丰工贸有限公司
更新于:2025-01-21