模型

1. ✅最新模型接入 P0
2. Omni pending
   a. 部署支持输出音频
   b. 支持talker的训练
3. All-to-All优化 pending
4. ✅embedding: 支持推理、部署
5. ✅reranker训练支持
   a. 推理部署支持
6. 序列分类: 多标签/回归支持量化

训练

1. RAY支持 P0
2. ✅长文本ring attention
3. ✅AutoTP P0
4. ✅channel loss支持packing/padding_free
5. ✅多模态packing优化
6. ✅new_special_tokens支持
7. 多模态packing/padding_free支持更多模型
8. 混合模态训练支持更多模态
9. ✅flash-attention-3

Megatron-SWIFT

1. 新模型支持
   a. 多模态: qwen2.5-VL/qwen2.5-Omni P0
   b. ✅DeepSeekV3
   c. Llama4
2. ✅fp8
   a. blockwise fp8 P0
3. ✅LoRA支持
4. ✅支持提前预处理数据集
5. RLHF支持 P0
   a. GRPO
   b. KTO
   c. ✅DPO
6. ✅bshd格式支持
7. swanlab支持 P0
8. ✅loss_scale支持
9. 分类/Embedding模型支持
10. Deepspeed集成

RL

1. GRPO
   a. ✅多轮AsyncEngine
   b. Agent MCP
   c. sglang
   d. 效率对比benchmark
   e. ✅多机rollout
   f. ✅GSPO
   g. ✅DeepEyes
2. ✅MPO
3. ✅GKD
4. RLOO P1
5. Reinforce++ P0
   7.多模态PPO
6. KTO padding_free支持
7. RM 支持 pointwise 训练 P0

推理与部署

1. ✅sglang接入推理部署
   a. 多模态模型
2. vLLM支持分类模型和RM

量化导出

1. ✅fp8/bnb支持多模态模型
2. ✅qlora支持merge-lora P1
3. ✅fp8量化