使用阿里云OSS上传文件、普通上传与分片上传

阿里云OSS Java SDK

首先想使用阿里云OSS服务先要去官网申请:阿里云API的密钥AccessKeyID阿里云API的密钥AccessKeySecret 有了这两个才能进行开发。

阿里云官方有针对不同语言设计的SDK包,本文使用java SDK。博主代码有作修改。
详细SDK介绍参看官网链接: https://help.aliyun.com/document_detail/oss/sdk/java-sdk/preface.html?spm=5176.383663.13.1.J6I4Ga

	<!--阿里云OSS-->
	<!-- https://mvnrepository.com/artifact/com.aliyun.oss/aliyun-sdk-oss -->
	<dependency>
	    <groupId>com.aliyun.oss</groupId>
	    <artifactId>aliyun-sdk-oss</artifactId>
	    <version>3.9.1</version>
	</dependency>

创建ossClient

    /**
     * 获取阿里云OSS客户端对象
     *
     * @return ossClient
     */
    public static OSS getOSSClient() {
    
    
        ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
        // 连接空闲超时时间,超时则关闭
        conf.setIdleConnectionTime(1000);
		// 在这里可以做一些配置,比如超时时间、最大连接数之类的
		···
        return new OSSClientBuilder().build(ENDPOINT, ACCESS_KEY_ID, ACCESS_KEY_SECRET, conf);
    }

创建一个bucket,也就是桶,相当于访问域名前缀部分

    /**
     * 创建桶
     *
     * @param ossClient  OSS连接
     * @param bucketName 桶名称
     * @return
     */
    public static String createBucketName(OSS ossClient, String bucketName) {
    
    
        if (!ossClient.doesBucketExist(bucketName)) {
    
    
            //创建存储空间
            Bucket bucket = ossClient.createBucket(bucketName);
            log.info("创建存储空间成功");
            return bucket.getName();
        }
        return bucketName;
    }

普通上传完整代码(AliyunOSSClientUtil)

/**
 * 阿里oss工具类
 *
 * @author xiegege
 * @date 2020-07-23
 */
@Slf4j
@Component
public class AliyunOSSClientUtil {
    
    

    private static String ENDPOINT;
    private static String ACCESS_KEY_ID;
    private static String ACCESS_KEY_SECRET;

    @Value("${aliyunOSS.endpoint}")
    private void setEndpoint(String endpoint) {
    
    
        ENDPOINT = endpoint;
    }

    @Value("${aliyunOSS.accessKeyId}")
    private void setAccessKeyId(String accessKeyId) {
    
    
        ACCESS_KEY_ID = accessKeyId;
    }

    @Value("${aliyunOSS.accessKeySecret}")
    private void setAccessKeySecret(String accessKeySecret) {
    
    
        ACCESS_KEY_SECRET = accessKeySecret;
    }

    /**
     * 获取阿里云OSS客户端对象
     *
     * @return ossClient
     */
    public static OSS getOSSClient() {
    
    
        ClientBuilderConfiguration conf = new ClientBuilderConfiguration();
        // 连接空闲超时时间,超时则关闭
        conf.setIdleConnectionTime(1000);
        return new OSSClientBuilder().build(ENDPOINT, ACCESS_KEY_ID, ACCESS_KEY_SECRET, conf);
    }

    /**
     * 创建桶
     *
     * @param ossClient  OSS连接
     * @param bucketName 桶名称
     * @return
     */
    public static String createBucketName(OSS ossClient, String bucketName) {
    
    
        if (!ossClient.doesBucketExist(bucketName)) {
    
    
            //创建存储空间
            Bucket bucket = ossClient.createBucket(bucketName);
            log.info("创建存储空间成功");
            return bucket.getName();
        }
        return bucketName;
    }

    /**
     * 删除桶
     *
     * @param ossClient  oss对象
     * @param bucketName 桶名称
     */
    public static void deleteBucket(OSS ossClient, String bucketName) {
    
    
        ossClient.deleteBucket(bucketName);
        log.info("删除" + bucketName + "桶成功");
    }

    /**
     * 上传图片至OSS 文件流
     *
     * @param ossClient  oss连接
     * @param file       上传文件(文件全路径如:D:\\image\\cake.jpg)
     * @param bucketName 桶名称
     * @param folder     阿里云API的文件夹名称(父文件夹)
     * @param format     阿里云API的文件夹名称(子文件夹)
     * @param formats    文件名
     * @return String 返回的唯一MD5数字签名
     */
    public static String[] uploadObject2OSS(OSS ossClient, File file, String bucketName, String folder, String format, String formats) {
    
    
        String[] resultArr = new String[2];
        try {
    
    
            // 以输入流的形式上传文件(普通上传)
            folder = folder + format;
            InputStream is = new FileInputStream(file);
            // 文件名
            String fileName = file.getName();
            // 文件扩展名
            String fileExtension = fileName.substring(fileName.lastIndexOf("."));
            // 最终文件名:UUID + 文件扩展名
            fileName = formats + fileExtension;
            // 上传路径 如:appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
            String path = folder + fileName;
            log.info("上传到路径" + path);
            // 文件大小
            long fileSize = file.length();
            // 创建上传Object的Metadata
            ObjectMetadata metadata = new ObjectMetadata();
            // 上传的文件的长度
            metadata.setContentLength(is.available());
            // 指定该Object被下载时的网页的缓存行为
            metadata.setCacheControl("no-cache");
            // 指定该Object下设置Header
            metadata.setHeader("Pragma", "no-cache");
            // 指定该Object被下载时的内容编码格式
            metadata.setContentEncoding("utf-8");
            // 文件的MIME,定义文件的类型及网页编码,决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成,
            // 如果没有扩展名则填默认值application/octet-stream
            metadata.setContentType(getContentType(fileExtension));
            // 指定该Object被下载时的名称(指示MINME用户代理如何显示附加的文件,打开或下载,及文件名称)
            metadata.setContentDisposition("filename/filesize=" + fileName + "/" + fileSize + "Byte.");
            // 上传文件 (上传文件流的形式)
            PutObjectResult putResult = ossClient.putObject(bucketName, path, is, metadata);
            // 解析结果
            resultArr[0] = putResult.getETag();
            resultArr[1] = path;
            is.close();
            ossClient.shutdown();
        } catch (Exception e) {
    
    
            e.printStackTrace();
            log.error("上传阿里云OSS服务器异常." + e.getMessage(), e);
        } finally {
    
    
            // 关闭OSSClient
            ossClient.shutdown();
        }
        return null;
    }

    /**
     * 获得url链接
     *
     * @param bucketName 桶名称
     * @param key        Bucket下的文件的路径名+文件名 如:"appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk"
     * @return 图片链接:http://xxxxx.oss-cn-beijing.aliyuncs.com/test/headImage/1546404670068899.jpg?Expires=1861774699&OSSAccessKeyId=****=p%2BuzEEp%2F3JzcHzm%2FtAYA9U5JM4I%3D
     * (Expires=1861774699&OSSAccessKeyId=LTAISWCu15mkrjRw&Signature=p%2BuzEEp%2F3JzcHzm%2FtAYA9U5JM4I%3D 分别为:有前期、keyID、签名)
     */
    public static String getUrl(String bucketName, String key) {
    
    
        // 设置URL过期时间为10年  3600L*1000*24*365*10
        Date expiration = new Date(System.currentTimeMillis() + 3600L * 1000 * 24 * 365 * 10);
        OSS ossClient = getOSSClient();
        // 生成URL
        URL url = ossClient.generatePresignedUrl(bucketName, key, expiration);
        return url.toString().substring(0, url.toString().lastIndexOf("?"));
    }

    /**
     * 通过文件名判断并获取OSS服务文件上传时文件的contentType
     *
     * @param fileExtension 文件名扩展名
     * @return 文件的contentType
     */
    public static String getContentType(String fileExtension) {
    
    
        // 文件的后缀名
        if (".bmp".equalsIgnoreCase(fileExtension)) {
    
    
            return "image/bmp";
        }
        if (".gif".equalsIgnoreCase(fileExtension)) {
    
    
            return "image/gif";
        }
        if (".jpeg".equalsIgnoreCase(fileExtension) || ".jpg".equalsIgnoreCase(fileExtension)
                || ".png".equalsIgnoreCase(fileExtension)) {
    
    
            return "image/jpeg";
        }
        if (".html".equalsIgnoreCase(fileExtension)) {
    
    
            return "text/html";
        }
        if (".txt".equalsIgnoreCase(fileExtension)) {
    
    
            return "text/plain";
        }
        if (".vsd".equalsIgnoreCase(fileExtension)) {
    
    
            return "application/vnd.visio";
        }
        if (".ppt".equalsIgnoreCase(fileExtension) || "pptx".equalsIgnoreCase(fileExtension)) {
    
    
            return "application/vnd.ms-powerpoint";
        }
        if (".doc".equalsIgnoreCase(fileExtension) || "docx".equalsIgnoreCase(fileExtension)) {
    
    
            return "application/msword";
        }
        if (".xml".equalsIgnoreCase(fileExtension)) {
    
    
            return "text/xml";
        }
        if (".mp4".equalsIgnoreCase(fileExtension)) {
    
    
            return "video/mp4";
        }
        // android
        if (".apk".equalsIgnoreCase(fileExtension)) {
    
    
            return "application/vnd.android.package-archive";
        }
        // ios
        if (".ipa".equals(fileExtension)) {
    
    
            return "application/vnd.iphone";
        }
        // 默认返回类型
        return "application/octet-stream";
    }
}

大文件分片上传(改造)

    /**
     * 上传图片至OSS 文件流
     *
     * @param ossClient  oss连接
     * @param file       上传文件(文件全路径如:D:\\image\\cake.jpg)
     * @param bucketName 桶名称
     * @param folder     阿里云API的文件夹名称(父文件夹)
     * @param format     阿里云API的文件夹名称(子文件夹)
     * @param formats    文件名
     * @return String 返回的唯一MD5数字签名
     */
    public static String[] uploadObject2OSS(OSS ossClient, File file, String bucketName, String folder, String format, String formats) {
    
    
        // 创建一个可重用固定线程数的线程池
        ExecutorService executorService = Executors.newFixedThreadPool(5);
        String[] resultArr = new String[2];
        try {
    
    
            // 分片上传
            folder = folder + format;
            // 文件名
            String fileName = file.getName();
            // 文件扩展名
            String fileExtension = fileName.substring(fileName.lastIndexOf("."));
            // 最终文件名:UUID + 文件扩展名
            fileName = formats + fileExtension;
            // 上传路径 如:appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
            // objectName表示上传文件到OSS时需要指定包含文件后缀在内的完整路径,例如abc/efg/123.jpg
            String objectName = folder + fileName;
            log.info("上传到路径:" + objectName);
            // 文件大小
            long fileSize = file.length();
            // 创建上传Object的Metadata
            ObjectMetadata metadata = new ObjectMetadata();
            // 指定该Object被下载时的网页的缓存行为
            metadata.setCacheControl("no-cache");
            // 指定该Object下设置Header
            metadata.setHeader("Pragma", "no-cache");
            // 指定该Object被下载时的内容编码格式
            metadata.setContentEncoding("utf-8");
            // 文件的MIME,定义文件的类型及网页编码,决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成,
            // 如果没有扩展名则填默认值application/octet-stream
            metadata.setContentType(getContentType(fileExtension));
            // 指定该Object被下载时的名称(指示MINME用户代理如何显示附加的文件,打开或下载,及文件名称)
            metadata.setContentDisposition("filename/filesize=" + fileName + "/" + fileSize + "Byte.");
            // 创建InitiateMultipartUploadRequest对象
            InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName, metadata);
            // 初始化分片
            InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
            // 返回uploadId,它是分片上传事件的唯一标识,您可以根据这个uploadId发起相关的操作,如取消分片上传、查询分片上传等
            String uploadId = upresult.getUploadId();
            // partETags是PartETag的集合。PartETag由分片的ETag和分片号组成
            List<PartETag> partETags = Collections.synchronizedList(new ArrayList<>());
            // 计算文件有多少个分片
            final long partSize = 1 * 1024 * 1024L; // 1MB
            long fileLength = file.length();
            int partCount = (int) (fileLength / partSize);
            if (fileLength % partSize != 0) {
    
    
                partCount++;
            }
            if (partCount > 10000) {
    
    
                throw new RuntimeException("分片总块数不能超过10000");
            } else {
    
    
                log.info("分片总块数:" + partCount);
            }
            // 遍历分片上传
            for (int i = 0; i < partCount; i++) {
    
    
                long startPos = i * partSize;
                long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
                int partNumber = i + 1;
                // 实现并启动线程
                executorService.execute(new Runnable() {
    
    
                    @Override
                    public void run() {
    
    
                        InputStream inputStream = null;
                        try {
    
    
                            inputStream = new FileInputStream(file);
                            // 跳过已经上传的分片
                            inputStream.skip(startPos);
                            UploadPartRequest uploadPartRequest = new UploadPartRequest();
                            uploadPartRequest.setBucketName(bucketName);
                            uploadPartRequest.setKey(objectName);
                            uploadPartRequest.setUploadId(uploadId);
                            uploadPartRequest.setInputStream(inputStream);
                            // 设置分片大小。除了最后一个分片没有大小限制,其他的分片最小为100 KB。
                            uploadPartRequest.setPartSize(curPartSize);
                            // 设置分片号。每一个上传的分片都有一个分片号,取值范围是1~10000,如果超出这个范围,OSS将返回InvalidArgument的错误码。
                            uploadPartRequest.setPartNumber(partNumber);
                            // 每个分片不需要按顺序上传,甚至可以在不同客户端上传,OSS会按照分片号排序组成完整的文件。
                            UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
                            //每次上传分片之后,OSS的返回结果会包含一个PartETag。PartETag将被保存到PartETags中。
                            synchronized (partETags) {
    
    
                                partETags.add(uploadPartResult.getPartETag());
                            }
                        } catch (IOException e) {
    
    
                            e.printStackTrace();
                        } finally {
    
    
                            if (inputStream != null) {
    
    
                                try {
    
    
                                    inputStream.close();
                                } catch (IOException e) {
    
    
                                    log.error(e.getMessage());
                                }
                            }
                        }
                    }
                });
            }
            // 等待所有的分片完成
            // shutdown方法:通知各个任务(Runnable)的运行结束
            executorService.shutdown();
            while (!executorService.isTerminated()) {
    
    
                try {
    
    
                    // 指定的时间内所有的任务都结束的时候,返回true,反之返回false,返回false还有执行完的任务
                    executorService.awaitTermination(5, TimeUnit.SECONDS);
                } catch (InterruptedException e) {
    
    
                    log.error(e.getMessage());
                }
            }
            // 立即关闭所有执行中的线程
            // executorService.shutdownNow();

            // 验证是否所有的分片都完成
            if (partETags.size() != partCount) {
    
    
                throw new IllegalStateException("文件的某些部分上传失败!");
            } else {
    
    
                log.info("文件上传成功:" + file.getName());
            }
            // 完成分片上传 进行排序。partETags必须按分片号升序排列
            Collections.sort(partETags, new Comparator<PartETag>() {
    
    
                @Override
                public int compare(PartETag o1, PartETag o2) {
    
    
                    return o1.getPartNumber() - o2.getPartNumber();
                }
            });
            // 创建CompleteMultipartUploadRequest对象
            // 在执行完成分片上传操作时,需要提供所有有效的partETags。OSS收到提交的partETags后,会逐一验证每个分片的有效性。当所有的数据分片验证通过后,OSS将把这些分片组合成一个完整的文件
            CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
            // 设置文件访问权限
            // completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
            // 完成上传
            CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
            if (completeMultipartUploadResult != null) {
    
    
                // 解析结果
                resultArr[0] = completeMultipartUploadResult.getETag();
                resultArr[1] = objectName;
                return resultArr;
            }
        } catch (Exception e) {
    
    
            e.printStackTrace();
            log.error("上传阿里云OSS服务器异常." + e.getMessage(), e);
        } finally {
    
    
            // 关闭OSSClient
            ossClient.shutdown();
        }
        return null;
    }

controller调用

    /**
     * 上传文件(阿里OSS)
     *
     * @param file 文件对象
     * @return
     */
    @ApiOperation("上传文件")
    @PostMapping("uploadFile")
    @ResponseBody
    public ResponseResult uploadFile(@RequestParam(name = "file") MultipartFile file) {
    
    
        String saveUrl = "";
        try {
    
    
            log.info("------文件上传方法执行------");
            long startTime = System.currentTimeMillis();
            // 阿里OSS
            SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMdd");
            Date date = new Date();
            // 阿里云API的文件夹名称(子文件夹)
            String format = dateFormat.format(date) + "/";
            // 文件名
            String formats = String.valueOf(UUID.randomUUID());
            // MultipartFile 转 File
            File newFile = MultipartFileToFileUtil.multipartFileToFile(file);
            // 返回结果 resultArr[0]:唯一MD5数字签名  resultArr[1]:如:"appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk"
            String[] resultArr = AliyunOSSClientUtil.uploadObject2OSS(AliyunOSSClientUtil.getOSSClient(), newFile, bucketName, folder, format, formats);
            // 网络URL地址:s端传入cdn链接 + resultArr[1]
            if (resultArr != null) {
    
    
                String path = resultArr[1];
                // 保存路径url地址:http://zhiliaoappversion.oss-cn-beijing.aliyuncs.com/appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
                saveUrl = AliyunOSSClientUtil.getUrl(bucketName, path);
            }
            // 删除本地临时文件
            MultipartFileToFileUtil.deleteTempFile(newFile);
            long endTime = System.currentTimeMillis();
            log.info("------文件上传成功,耗时" + ((endTime - startTime) / 1000) + "s------");
            return ResponseResult.success(StatusEnums.UPLOAD_SUCCESS.getMsg(), saveUrl);
        } catch (Exception e) {
    
    
            e.printStackTrace();
            log.info("------文件上传失败------");
            return ResponseResult.error(StatusEnums.UPLOAD_ERROR.getMsg());
        }
    }

这里是单文件上传,如果需要多文件可对代码进行修改

MultipartFileToFileUtil类

/**
 * 文件转换工具类
 *
 * @author xiegege
 * @date 2020-07-23
 */
public class MultipartFileToFileUtil {
    
    

    /**
     * MultipartFile 转 File
     *
     * @param file
     * @throws Exception
     */
    public static File multipartFileToFile(MultipartFile file) {
    
    
        try {
    
    
            File toFile;
            if (file != null && file.getSize() > 0) {
    
    
                InputStream ins = null;
                ins = file.getInputStream();
                toFile = new File(file.getOriginalFilename());
                inputStreamToFile(ins, toFile);
                ins.close();
                return toFile;
            }
            return null;
        } catch (IOException e) {
    
    
            e.printStackTrace();
            return null;
        }
    }

    /**
     * 获取流文件
     *
     * @param ins
     * @param file
     */
    public static void inputStreamToFile(InputStream ins, File file) {
    
    
        try {
    
    
            OutputStream os = new FileOutputStream(file);
            int bytesRead;
            byte[] buffer = new byte[8192];
            while ((bytesRead = ins.read(buffer, 0, 8192)) != -1) {
    
    
                os.write(buffer, 0, bytesRead);
            }
            os.close();
            ins.close();
        } catch (Exception e) {
    
    
            e.printStackTrace();
        }
    }

    /**
     * 删除本地临时文件
     *
     * @param file
     */
    public static void deleteTempFile(File file) {
    
    
        if (file != null) {
    
    
            File del = new File(file.toURI());
            del.delete();
        }
    }
}

yml配置

aliyunOSS:
  endpoint: http://oss-cn-hangzhou.aliyuncs.com # 阿里云API的内或外网域名
  accessKeyId: LTAI4FzJPcJe******** # 阿里云API的密钥AccessKeyID
  accessKeySecret: tD2gnQKDriTCoJ6i******** # 阿里云API的密钥AccessKeySecret
  bucketName: hzlimgtest # bucket(桶)名称
  folder: uploadfile/ # 文件夹名称(父文件夹:域名 + uploadfile/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk)

运行结果

在这里插入图片描述
http://hzlimgtest.oss-cn-hangzhou.aliyuncs.com/uploadfile/20200925/b80a967d-6423-4299-a875-4b7d9d2958ed.jpg

hzlimgtest 就是我们的桶名称
uploadfile 可以理解成父文件夹
20200925 可以理解成子文件夹
基本上桶名与父文件夹不变,子文件夹根据日期变化而变化,文件名使用UUID生成

注意

在阿里云服务器上部署的项目,如果上传文件很慢,可以使用内网地址上传,速度非常快!
内网地址:http://oss-cn-hangzhou-internal.aliyuncs.com

猜你喜欢

转载自blog.csdn.net/weixin_42825651/article/details/108792264