Система LRMoE перераспределяет нагрузку при обучении MoE-моделей, учитывая ограничения GPU-памяти. Согласно результатам тестов на моделях Qwen3-30B-A3B и GLM4.5-106B-A12B, технология сокращает время обучения слоев MoE на 21,2–44,8% по сравнению с методом SYMI.
Представлена система LRMoE для оптимизации обучения MoE-моделей
Новая система LRMoE оптимизирует обучение моделей Mixture-of-Experts на устройствах с ограниченным объемом памяти.
