職位描述
1. 模型訓練基礎設施開發
- 設計和實現支持大規模分布式訓練的計算平臺，優化模型訓練效率和資源利用率。
- 維護和擴展現有的分布式訓練框架，確保平臺的高性能和穩定性（如基于 PyTorch、TensorFlow 或 JAX）。
- 集成和優化高性能計算技術（如 CUDA、MPI、NCCL 等）。
2. 模型推理基礎設施開發
- 構建高效的推理框架，支持大模型的在線和離線推理需求。
- 優化推理速度、內存占用和能耗，支持多種硬件架構（GPU、NPU等 ）。
- 實現PD分離、Context Caching、模型量化、推敲編碼等推理優化技術。
3. 性能監控與優化
- 開發工具鏈和監控系統，跟蹤訓練與推理過程的性能瓶頸。
- 分析并優化數據加載、通信效率和硬件利用率等關鍵環節。
4. 跨團隊協作
- 與模型研究團隊密切合作，理解模型需求，定制訓練和推理策略。
- 支持產品團隊的模型部署需求，推動大模型在實際場景中的落地應用。
職位要求
基本要求：
- 計算機科學、軟件工程、機器學習或相關領域的本科及以上學歷，碩士或博士優先。
- 深入理解深度學習原理和分布式訓練框架（如 Horovod、DeepSpeed、Ray 等）。
- 熟練掌握至少一種主流深度學習框架（如 PyTorch、TensorFlow 或 JAX）。
- 熟悉高性能計算技術（CUDA、NCCL、cuDNN 等）及硬件架構（GPU、NPU 等）。
- 具有扎實的編程能力，精通 Python 和至少一種系統級編程語言（如 C++）。

優先條件：
- 有參與或主導過大規模模型（如 Transformer、大語言模型）的訓練和部署經驗。
- 熟悉模型優化技術（如混合精度訓練、剪枝、量化等）。
- 對云計算和容器化技術（如 Kubernetes、Docker、Terraform）有實際經驗。
- 對新興 AI 硬件（如 H卡）有實操經驗。
- 具備優秀的系統設計和性能調優能力。