LLM大模型通过Mixture-of-LoRAs引入支持多模态Phi-4-multimodal-instruct

Mixture-of-LoRAs

参考：
https://arxiv.org/html/2403.03432v1
结合了MOE框架实现

Phi-4-multimodal-instruct

参考：
https://huggingface.co/microsoft/Phi-4-multimodal-instruct/blob/main/phi_4_mm.tech_report.02252025.pdf
语音和图像分别作为独立的lora，然后MOE形式可以选择走具体路线

https://huggingface.co/microsoft/Phi-4-multimodal-instruct