（六）关于InternVL2的单卡、多卡推理

---

前言

本章节将介绍如何使用上一章节微调后的模型进行推理。推理又分为单卡和多卡，这里介绍的两种方式都是Hugging Face的transformers方法进行推理。模型的话可以使用上一章微调的任意一个非lora模型进行测试。

---

单卡推理

如果你可以完成前面模型的微调，那单卡推理的显存应该是足够的。这里使用的模式是上一章lora合并后最终模型internvl2_4b_phi3_3_8b_dynamic_res_2nd_finetune_mlpvit_llmlora，具体代码如下：

import time
import math
import os
import re
import cv2
import torch
import numpy as</