手把手教你在Android中使用bsdiff实现文件增量更新 (超详细)

全量更新和增量更新

在Android开发中,版本更新是一个非常常见的需求。目前更新主要分为两种方式,全量更新增量更新

如下图,分别是酷安应用宝两个商店的更新页面:

在这里插入图片描述

在这里插入图片描述
可以明显的看到
酷安的更新方式是全量更新,即每次下载全量的新版本文件,当然并不是酷安不支持增量,只是补丁包还没生成出来。
应用宝的更新方式是增量更新,下载新文件就旧文件的差异部分,然后跟就文件做合并即可。

增量更新的好处很明显

仅需要下载少量的文件即可完成更新,理论上如果是基于之前文件基础做改动的话,那么文件越大,优势越明显。

例如上图中的 PICOOC,如果全量更新的话需要下载92M左右的文件,增量更新的话只需要下载26M的文件。


bsdiff 实现增量更新

网上查了一些资料,目前比较主流的方案是使用 bsdiff 实现文件的差分与合并。

官网:http://www.daemonology.net/bsdiff/

大体流程如下:

新文件和旧文件对比生成补丁文件
在这里插入图片描述

旧文件和补丁文件合并成新文件
在这里插入图片描述

出补丁包的过程肯定是在服务端进行的,Android端比较简单,只负责拿到补丁包然后跟本地文件做合并,校验下合并文件的MD5是否跟新包MD5一致即可。


Android端bsdiff实现

为了方便各位大佬快速实现功能,我整了个库发布到 mavenCentral

懒得自己弄的可以直接依赖一下远程库就能实现,参考https://github.com/yuzhiqiang1993/XeonDiff

需要自定义的继续往下看。

bsdiff 官网介绍的时候提到bsdiff用到了 bzip2

所以我们需要下载bsdiffbzip2 源码。

bsdiff: http://www.daemonology.net/bsdiff/bsdiff-4.3.tar.gz

bzip2: https://www.sourceware.org/bzip2/downloads.html

网络不好的可以从Github上自取、已经处理好了,直接用就行。源码也放上去了,想自己处理的按照下文做就行。

Github地址 :https://github.com/yuzhiqiang1993/XeonDiff

在这里插入图片描述

废话不多说,开始干

首先新建一个module,bsdiff是用C语言实现的,我们需要用到JNI。右键新建module,选择 Android Native Library, 名称随意填
在这里插入图片描述

会生成如下文件:
在这里插入图片描述

然后把下载解压后的 bzip文件夹以及bsdiff.c和bspatch.c 拷贝到cpp 目录下
如下:
在这里插入图片描述
为了方便区分,改下名字,把baip2-1.0.8的包名也改成合法的,以免出问题。
如下

在这里插入图片描述

然后先在 CMakeLists 把bsdiff和bspatch源文件添加进去

在这里插入图片描述

这个时候返回去查看 bsdiff.c 和 bspatch.c 文件会提示报错,
在这里插入图片描述

不用管,直接删掉报错代码,然后在下方报红的地方根据提示导入头文件
在这里插入图片描述

两个文件操作一样,这样就没报错了。

然后就是去声明 native 方法了。

先去瞅一眼bsdiffbspatchmain 方法

以bsdiff的main方法为例:
在这里插入图片描述

首先是接收两个参数,第一个是数值,值必须是4,第二个是个数组,数组中第一个参数没啥用,就是报错的时候提示用的,第二个参数是旧文件地址,第三个参数是新文件地址,第四个参数是补丁文件地址,看注释也能看明白。

在这里插入图片描述
方法执行完成后返回0

bspatch的main方法类似,自己看一下就行。

知道传什么参数后就好办了,下一步就是声明native方法即可。

如下

package com.xeon.bsdiff.utils

/**
 * @description: BsDiff工具类
 * @author : yuzhiqiang ([email protected])
 * @date   : 2021/11/16
 * @time   : 22:12
 */

object XeonBsDiffUtil {
    
    

    init {
    
    
        System.loadLibrary("xeon_bsdiff")
    }

    /**
     * 生成补丁包
     * @param newFilePath String 新文件的地址
     * @param oldFilePath String  旧文件的地址
     * @param patchFilePath String  生成的补丁文件地址
     * @return Int
     */
    external fun diff(newFilePath: String, oldFilePath: String, patchFilePath: String): Int
    /**
     * 合并差分包
     * @param oldFilePath String 旧文件地址
     * @param patchFilePath String 补丁文件地址
     * @param combineFilePath String 合并后的新文件地址
     * @return Int
     */
    external fun patch(oldFilePath: String, patchFilePath: String, combineFilePath: String): Int

}

然后根据提示在xeon_bsdiff.cpp文件中生成对应方法:

extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_XeonBsDiffUtil_diff(JNIEnv *env, jobject thiz, jstring new_file_path, jstring old_file_path, jstring patch_file_path) {
    
    


}
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_XeonBsDiffUtil_patch(JNIEnv *env, jobject thiz, jstring old_file_path, jstring patch_file_path, jstring combine_file_path) {
    
    


}

下面就是实现这两个方法就好了。

首先是修改 bsdiffbspatchmain 方法名称,方便待会儿导入

示例:
在这里插入图片描述

然后更改xeon_bsdiff.cpp文件代码

如下:

#include <jni.h>

/*声明要调用的方法*/
extern "C" {
    
    
extern int bsdiff_main(int argc, char *argv[]);
extern int bspatch_main(int argc, char *argv[]);
}



/**
 * 生成补丁文件
 */
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_utils_XeonBsDiffUtil_diff(JNIEnv *env, jobject thiz, jstring new_file_path, jstring old_file_path, jstring patch_file_path) {
    
    

    const char *newFile = env->GetStringUTFChars(new_file_path, nullptr);
    const char *oldFile = env->GetStringUTFChars(old_file_path, nullptr);
    const char *patchFile = env->GetStringUTFChars(patch_file_path, nullptr);

    char *argv[] = {
    
    "xeon_bs_diff", const_cast<char *>(oldFile), const_cast<char *>(newFile),
                    const_cast<char *>(patchFile)};
    /* 调用bsDiff的main方法,*/
    int res = bsdiff_main(4, argv);
    env->ReleaseStringUTFChars(old_file_path, oldFile);
    env->ReleaseStringUTFChars(new_file_path, newFile);
    env->ReleaseStringUTFChars(patch_file_path, patchFile);
    return res;
}
/**
 * 合并补丁文件
 */
extern "C"
JNIEXPORT jint JNICALL
Java_com_xeon_bsdiff_utils_XeonBsDiffUtil_patch(JNIEnv *env, jobject thiz, jstring old_file_path, jstring patch_file_path, jstring combine_file_path) {
    
    
    const char *oldFile = env->GetStringUTFChars(old_file_path, nullptr);
    const char *patchFile = env->GetStringUTFChars(patch_file_path, nullptr);
    const char *combineFile = env->GetStringUTFChars(combine_file_path, nullptr);
    char *argv[] = {
    
    "xeon_bs_patch", const_cast<char *>(oldFile), const_cast<char *>(combineFile),
                    const_cast<char *>(patchFile)};
    /*调bspatch的main方法*/
    int res = bspatch_main(4, argv);
    env->ReleaseStringUTFChars(old_file_path, oldFile);
    env->ReleaseStringUTFChars(combine_file_path, combineFile);
    env->ReleaseStringUTFChars(patch_file_path, patchFile);
    return res;
}

至此,代码已经编写完成了。

此时如果你直接运行App的话,应该提示如下错误:

在这里插入图片描述

提示找不到bzip相关的引用。
这个时候需要去CMakeList中导入一下bzip2里的.c源文件

如下
在这里插入图片描述
关键代码;

#导入bzip2
include_directories(${CMAKE_SOURCE_DIR}/bzip2)
#列出bzip2目录下所有.c 源文件 赋值给bzip2
file(GLOB bzip2 bzip2/*.c)

然后在add_library中添加.c源文件

add_library(
        # Sets the name of the library.
        xeon_bsdiff

        # Sets the library as a shared library.
        SHARED

        # Provides a relative path to your source file(s).
        ${bzip2}
        bsdiff.c
        bspatch.c
        xeon_bsdiff.cpp
)

然后再运行,应该会提示如下报错:
在这里插入图片描述

multiple definition of `main’
表示有多个main方法的定义,并给出了文件名。这个简单,点击指定文件名把main方法改一下即可。

例如:
把bzip2recover 中的main改成 bzip2recover_main
在这里插入图片描述
其他提示的文件同理

都改完之后应该就没什么报错了,可以正常运行了。

至此,我们的diff module 的所有代码就ok了。


下面就是正常的业务编写了,不浪费篇幅,直接贴代码了:

package com.xeon.xeonbsdiff

import androidx.lifecycle.*
import com.blankj.utilcode.util.*
import com.xeon.bsdiff.utils.XeonBsDiffUtil
import kotlinx.coroutines.*
import java.io.File
import kotlin.system.measureTimeMillis


/**
 * @description: MainViewModel
 * @author : yuzhiqiang ([email protected])
 * @date   : 2021/11/16
 * @time   : 22:20
 */

class MainViewModel : ViewModel() {
    
    

    /*异常处理*/
    private val exceptionHandler = CoroutineExceptionHandler {
    
     coroutineContext, throwable ->
        LogUtils.e("异常了:${
      
      throwable.localizedMessage}")
        throwable.printStackTrace()
    }

    /*文件后缀名*/
    private val suffix = "apk"
    /*旧文件*/
    private val oldFile = File(PathUtils.getExternalAppFilesPath(), "old.${
      
      suffix}")
    /*新文件*/
    private val newFile = File(PathUtils.getExternalAppFilesPath(), "new.${
      
      suffix}")
    /*补丁文件*/
    private val patchFile = File(PathUtils.getExternalAppFilesPath(), "patch.${
      
      suffix}")
    /*合并后的文件*/
    private val combineFile = File(PathUtils.getExternalAppFilesPath(), "combine.${
      
      suffix}")

    /*生成补丁文件*/
    fun fileDiff() {
    
    
        viewModelScope.launch(exceptionHandler) {
    
    

            val measureTimeMillis = measureTimeMillis {
    
    
                withContext(Dispatchers.IO) {
    
    
                    if (!oldFile.exists() || !newFile.exists()) {
    
    
                        ToastUtils.showShort("对比包缺失")
                        return@withContext
                    }
                    /*生成差分包*/
                    XeonBsDiffUtil.diff(newFile.absolutePath, oldFile.absolutePath, patchFile.absolutePath)
                }
            }

            LogUtils.i("生成补丁文件耗时:${
      
      measureTimeMillis}")
            LogUtils.i("oldFileSize:${
      
      FileUtils.getSize(oldFile)}")
            LogUtils.i("newFileSize:${
      
      FileUtils.getSize(newFile)}")
            LogUtils.i("patchFileSize:${
      
      FileUtils.getSize(patchFile)}")

        }

    }

    /*合并补丁文件*/
    fun filePatch() {
    
    
        viewModelScope.launch(exceptionHandler) {
    
    
            val measureTimeMillis = measureTimeMillis {
    
    
                withContext(Dispatchers.IO) {
    
    
                    LogUtils.e(PathUtils.getExternalAppFilesPath())
                    if (!oldFile.exists() || !patchFile.exists()) {
    
    
                        ToastUtils.showShort("补丁文件或旧文件缺失")
                        return@withContext
                    }
                    XeonBsDiffUtil.patch(oldFile.absolutePath, patchFile.absolutePath, combineFile.absolutePath)
                }
            }
            LogUtils.i("合并补丁文件耗时:${
      
      measureTimeMillis}")
            LogUtils.i("newFile MD5:${
      
      FileUtils.getFileMD5ToString(newFile)}")
            LogUtils.i("combineFile MD5:${
      
      FileUtils.getFileMD5ToString(combineFile)}")

        }

    }
}

然后找个文件,在之前文件基础上改改就可以试验一下了。

我这边是随便找了两个相差几个版本的apk,是自己比较喜欢用的一款开源阅读软件,贼好用。

这里直接上运行后结果了,如下:

生成补丁文件的Log:
在这里插入图片描述

合并补丁文件Log:
在这里插入图片描述

文件截图:
在这里插入图片描述

可以看到,新文件和合并后的文件MD5值一致,至此,我们就实现了文件的增量更新操作。

因为bsdiff是基于二进制的处理,所以不仅仅是apk可以实现增量更新,理论上何文件都可以使用,例如 图片,文本文件等等

注意,打出来的so文件在这个目录下。
在这里插入图片描述

好了,这样我们就在Android上实现了文件的增量更新,实际开发中,Android要做的也比较简单,只需要下载补丁文件做合并操作即可。大多数逻辑还是在后端的。

以下是实际开发过程中可能需要注意的问题:

  • 生成补丁包是非常耗时的操作,不过绝大多数情况下是在服务端进行的,相对来讲合并文件就快很多。
  • 理论上每出一个新版本的文件,都要跟之前所有版本的旧文件做diff操作,需要维护很多条补丁包记录。
  • 如果新文件和旧文件相差太大的话,搞不好还会出现补丁文件比新文件都大的情况,这种就得不偿失了.
  • 如果本身文件不大的话,感觉没什么必要去走增量更新,走增量更新反而会增加后端的维护成本以及增加出错的风险,这个需要根据实际的业务场景去考虑。

在实际开发过程中,Android端主要负责进行文件合并的操作,生成补丁包的过程肯定是要在服务端进行的,如果对服务端生成补丁包的流程感兴趣的话可以看:手把手教你在Java后端使用bsdiff实现增量更新 这篇文章,这样一来,从Android端到服务端之间的整个技术方案就打通了。


如果你觉得本文对你有帮助,麻烦动动手指顶一下,可以帮助到更多的开发者,如果文中有什么错误的地方,还望指正,转载请注明转自喻志强的博客 ,谢谢!

猜你喜欢

转载自blog.csdn.net/yuzhiqiang_1993/article/details/121317195