【项目总结】工程构建思路分析与分享

在这里插入图片描述

背景

写这篇文章的初衷是因为国产化项目临近结束,在做项目总结时,回想起了代码管理的相关问题。虽然工程搭建及管理是一个高级工程师必备的能力,但似乎每次一个新项目立项,都是从老的项目中拷贝工程框架,再进行定制修改。并没有认真了解其原理及整体工程管理和维护思想。

虽然大部分的软件工程,都具备一定的通用性,修修改改也能用起来,但是我觉得工程架构,应该要和软件架构相匹配,将软件架构思想贯彻到底。本文介绍我个人如何通过软件架构来构建工程架构的以及cmake常用的接口。

如何构思工程框架

以T-BOX项目为例,其软件架构如下:

分析:

该软件架构采用分层结构,从上到下分为表现层、通讯层、业务层、抽象层、基础层。其中我们主要关心业务层、抽象层、基础层;

  • 业务层。用于实现t-box自身业务,比如gnss定位、数据拨号、TSP平台、自升级、片间通信等。它内部又分为基础能力和扩展能力两类业务。
  • 抽象层。该层的目的是进程底层硬件的依赖剥离,方便进行平台移植。
  • 基础层。主要是一些基础的功能库。它内部又分为三类:
    • 模组商SDK。比如数据拨号、gnss、低功耗等接口
    • 开源库。数据库、日志库、MQTT等
    • 系统库等

理论上业务层只能调用抽象层接口,而抽象层只能调用基础层接口

问题一:开源库如何管理?集成库还是集成生成物?

这是大家可能常会考虑的问题,我一般倾向于集成开源库的生成物,原因有以下几点:

  1. 空间浪费。开源库应该是具有通用性的,也就是说不同的项目都可以使用,若集成源代码,则多个不同项目,则会在git仓库中有多份。
  2. 编译时间增长。比如openssl开源库的编译需要十几分钟。这就导致第一次编译时,时间非常长。
  3. 便于维护。有时候,开源库也存在一些bug,需要我们去修复,若是单独用仓库保存仅需要维护一处即可。再通知各个项目组,让他们主动更新。

当然,不同的角色,其考虑角度不一样,比如模组商应该更偏向于将开源库放在项目中。因为他们一般是需要将源码交付给客户的。

问题二: 如何剥离对外部或硬件依赖?

在之前的工作中,我们经常会面临的一个问题:软件已经具备联调条件,但是外部却迟迟不能配合,无法验证内部逻辑。比如模组的sdk或硬件未提供。于是我们的思路是:在x86环境下,可以进行部分业务自测。对于外部依赖的sdk,可以自己模拟接口,配置相关应答。

问题三:如何将我们的程序集成到模组中?

我们工程编译的最终产物一般是可执行程序、动态库、配置文件。如何让其在模组中运行就需要解决两点:

  1. 如何让我们的程序开机启动。解决方式:需要修改启动脚本,再生成文件系统。
  2. 如何将我们的程序集成到模组中。解决方式:模组商一般会提供一个单独的分区,需要将我们的程序生成单独的ubi文件,进行烧录。

大致流程:

  1. 将我们的生成物,按照模组商的提供的指导文档,生成对应的oem_data.ubi
  2. 将修改的文件,替换到模组上的文件系统中,再生成文件系统root.squashfs
  3. oem_data.ubiroot.squashfs 替换到整包中,进行烧录。

问题四: 模组商的SDK如何管理?

正如上面讨论的:foundation->oem->arm目录、模组商的rootfs、升级整包、交叉工具链等,都应该是模组上提供的SDK的部分生成物。如何管理模组商的SDK呢?我的建议是单独上库处理。原因有以下几点:

  1. 模组商的SDK太大,一般有1G多。且编译时间很长,首次编译一般需要几个小时。
  2. 后续迭代,方便跟踪,溯源。

现在,我们的项目的工程目录大致如下:

且有三个git仓库:

如何使用cmake实现各个仓库框架

因为不同仓库源码来源不同,管理方式不同,因此cmake 也存在一些差异。

模组商SDK仓库

如上所述,该仓库的主要作用是记录后续模组商SDK变更记录,方便后续追溯。一般该SDK有自己的一套管理方式,不建议修改。我一般的做法是完整上库,不做修改它工程结构。

开源库仓库

该仓库的作用是将一些依赖的开源库进行编译,供上层使用。因此就可能存在多个开源依赖库。为了方便管理,我将所有的开源库,放到同一目录下。目录结构大致如下:

#build.sh
PROJECT_NAME=foundation
TOPDIR=$(pwd)
SRC_CODE_DIR=$TOPDIR

#表示编译的平台,因为项目仓库需要支持arm环境和x86环境,因此底层依赖库需要提供两个版本。
export TYPES_ARM="arm"  
export TYPES_X86="x86"
TYPES=($TYPES_ARM $TYPES_X86)

# 默认编译arm平台
if [ -z "$1" ]
then
	export PROJECT_BUILD_TYPE=${TYPES_ARM}	
else
	export PROJECT_BUILD_TYPE=$1
fi
echo "PROJECT_BUILD_TYPE:${PROJECT_BUILD_TYPE}"

# 判断交叉编译链是否存在
if [[ "$1" == $TYPES_ARM ]]; then
    if [ ! -d $SRC_CODE_DIR/toolchain ]; then
        echo "目录 $SRC_CODE_DIR/toolchain 不存在"
        exit
    fi
    # source 环境变量
    source t108_compile_tool_env_init
fi
# 注:交叉编译链及环境变量,一般都是模组上提供的。编译时,我们需要放到指定目录下


# 创建编译目录
rm -rf $SRC_CODE_DIR/build 
mkdir $SRC_CODE_DIR/build
cd $SRC_CODE_DIR/build

# 构建项目编译环境,并将编译平台传入
cmake -DENV_PLATFORM=${PROJECT_BUILD_TYPE} ..

# 执行多线程编译
make -j8

#若编译失败,则退出。若成功,则执行后续操作
if [ "$?" == "0" ]; then
    echo $?
    echo "build foundation successful"    
else
    echo $?
    echo "build foundation error"    
    exit 1
fi

# 执行安装指令
make install

#打包
cd ${TOPDIR}
rm -rf out
mkdir -p out
mkdir -p out/include
mkdir -p out/bin
mkdir -p out/etc
mkdir -p out/lib
cp -rf $SRC_CODE_DIR/build/deploy/include/* out/include/
cp -rf $SRC_CODE_DIR/build/deploy/sbin/mosquitto out/bin/
cp -rf $SRC_CODE_DIR/build/deploy/etc/* out/etc/
cp -rf $SRC_CODE_DIR/build/deploy/lib/*.a out/lib/

顶层CMakeList.txt分析:

cmake_minimum_required(VERSION 3.10.0)
project(foundation C CXX)

# 暂时屏蔽编译警告
# 对于开源库的编译警告,我的原则是不处理。而我们自己编写的代码是不可以有编译警告的。为了编译美观,因此忽略。
add_compile_options( -Wno-conversion -Wno-sign-conversion -Wno-parentheses -Wno-unused-variable -Wno-format -Wno-implicit-function-declaration -Wno-incompatible-pointer-types -Wno-int-conversion)

# 设置安装指令的相关变量,便于统一管理
# CMAKE_INSTALL_PREFIX。指定了安装的目标路径前缀,即所有安装的目标文件都会被放置在这个路径下
# CMAKE_INSTALL_BINDIR。指定了可执行文件(二进制文件)的安装路径。若没有设置,默认的安装路径将是 ${CMAKE_INSTALL_PREFIX}/bin。
# CMAKE_INSTALL_LIBDIR。指定了库文件的安装路径,若没有设置,默认的安装路径通常是 ${CMAKE_INSTALL_PREFIX}/lib,但在64位系统上,可能会是 ${CMAKE_INSTALL_PREFIX}/lib64
#CMAKE_INSTALL_INCLUDEDIR。CMAKE_INSTALL_INCLUDEDIR,若没有设置,默认的安装路径是 ${CMAKE_INSTALL_PREFIX}/include。
set(CMAKE_INSTALL_PREFIX ${CMAKE_SOURCE_DIR}/build/deploy)
set(CMAKE_INSTALL_BINDIR ${CMAKE_INSTALL_PREFIX}/bin)
set(CMAKE_INSTALL_LIBDIR ${CMAKE_INSTALL_PREFIX}/lib)
set(CMAKE_INSTALL_INCLUDEDIR ${CMAKE_INSTALL_PREFIX}/include)


# 设置foundation 版本信息
# 获取编译日志
EXECUTE_PROCESS(COMMAND date +%Y%m%d OUTPUT_VARIABLE COMPILE_DATE OUTPUT_STRIP_TRAILING_WHITESPACE)

# 获取当前最新的commitID
EXECUTE_PROCESS(COMMAND git rev-parse --short HEAD OUTPUT_VARIABLE GIT_COMMITID OUTPUT_STRIP_TRAILING_WHITESPACE)

# 定义版本名程: foundation_platform_data_commitID,并将该信息以ADM_FOUNDATION_SDK_VERSION宏传递给编译选项,这样源文件中就可以进行访问,并进行打印记录。
SET(PROJECT_VERSION ${PROJECT_NAME}_${ENV_PLATFORM}_${ADM_SDK_VERSION}_${COMPILE_DATE}_${GIT_COMMITID})
ADD_DEFINITIONS(-DADM_FOUNDATION_SDK_VERSION="${PROJECT_VERSION}" -D${PROJECT_VERSION})

# 因为开源库mosquitto依赖openssl库,因此首先需要确保我们的编译环境中能够找到对应依赖。相当于环境编译检查。
find_package(OpenSSL REQUIRED)
if(OPENSSL_FOUND)
    include_directories(${OPENSSL_INCLUDE_DIR})
endif()

# 将需要编译的开源库添加到构建过程中来
add_subdirectory(package/iniparser)
add_subdirectory(package/mosquitto)
add_subdirectory(package/log)
add_subdirectory(package/sqlite3)
add_subdirectory(package/cJSON)

在编译过程中,遇到了一个现象:编译x86环境时,可以正常编译。但是编译arm平台会报如下错误:

CMake Error at /home/xieyihua/.local/lib/python3.8/site-packages/cmake/data/share/cmake-3.29/Modules/FindPackageHandleStandardArgs.cmake:230 (message):
  Could NOT find OpenSSL, try to set the path to OpenSSL root folder in the
  system variable OPENSSL_ROOT_DIR (missing: OPENSSL_CRYPTO_LIBRARY) (found
  version "1.1.1f")
Call Stack (most recent call first):
  /home/xieyihua/.local/lib/python3.8/site-packages/cmake/data/share/cmake-3.29/Modules/FindPackageHandleStandardArgs.cmake:600 (_FPHSA_FAILURE_MESSAGE)
  /home/xieyihua/.local/lib/python3.8/site-packages/cmake/data/share/cmake-3.29/Modules/FindOpenSSL.cmake:686 (find_package_handle_standard_args)
  CMakeLists.txt:43 (find_package)

分析:其原因就是在做环境检查时,发现工程依赖openSSL,但是却没有找到相关依赖。因为我的x86环境默认安装了openSSL,且系统$PATH环境变量中添加了该路径,所以能找到相关依赖。但是可以提供的环境变量并没有相关设置,所以找不到。

# t108_compile_tool_env_init
export SDKPATH=$(cd $(dirname ${
     
     BASH_SOURCE[0]}) && pwd)
BUILD_TOOLCHAIN_DIR=$SDKPATH/toolchain
export CC=$BUILD_TOOLCHAIN_DIR/linux64/bin/arm-openwrt-linux-gcc
export CXX=$BUILD_TOOLCHAIN_DIR/linux64/bin/arm-openwrt-linux-g++

因此,需要在环境变量中,手动添加工具链中openSSL的相关路径。export PATH=$BUILD_TOOLCHAIN_DIR/linux64/bin:$BUILD_TOOLCHAIN_DIR/linux64/usr/lib:$PATH

项目仓库

由上图可知,项目本身CMakeLists.txt布局如下,并逐一分析:

build.sh 内容如下:

PROJECT_NAME=itu2.0
TOPDIR=$(pwd)

# 若没有设置平台,则默认编译arm
#!/bin/bash
if [ -z "$1" ]; then
    platform=arm
else
    platform=$1
fi

if [[ "$platform" == "arm" ]]; then
    if [ ! -d $TOPDIR/toolchain ]; then
        echo "目录 $TOPDIR/toolchain 不存在"
        exit
    fi

    source t108_compile_tool_env_init
fi


# 创建目录和编译
rm -rf $TOPDIR/build
mkdir $TOPDIR/build

# 编译,并传入平台
cd $TOPDIR/build
cmake -DENV_PLATFORM=$platform ..
make -j8

if [ "$?" == "0" ]; then
    echo $?
    echo "build $PROJECT_NAME successful"
else
    echo $?
    echo "build $PROJECT_NAME error"
    exit 1
fi

#回到顶层目录
cd ${TOPDIR}

#将生成物拷贝到输出目录
OUT_DIR=$TOPDIR/out
EXTERNAL_OUTPUT_EXE=$OUT_DIR
EXTERNAL_OUTPUT_EXE_BIN=$OUT_DIR/bin
EXTERNAL_OUTPUT_EXE_ETC=$OUT_DIR/etc
EXTERNAL_OUTPUT_EXE_LIB=$OUT_DIR/lib

rm -rf $EXTERNAL_OUTPUT_EXE

mkdir -p $EXTERNAL_OUTPUT_EXE
mkdir -p $EXTERNAL_OUTPUT_EXE_BIN
mkdir -p $EXTERNAL_OUTPUT_EXE_ETC
mkdir -p $EXTERNAL_OUTPUT_EXE_LIB

cp -rf $TOPDIR/build/common/libsaFoundation.so $EXTERNAL_OUTPUT_EXE_LIB
cp -rf $TOPDIR/build/abstract/libsaEngine.so $EXTERNAL_OUTPUT_EXE_LIB

cp -rf $TOPDIR/build/application/appcore/basicApp/basicApp $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/build/application/appcore/extendApp/extendApp $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/application/appcore/daemon/shineAutoDaemon $EXTERNAL_OUTPUT_EXE_BIN
cp -rf $TOPDIR/common/3rd_libs/$platform/bin/mosquitto $EXTERNAL_OUTPUT_EXE_BIN

cp -rf $TOPDIR/rawdata/saTboxConfig.ini $EXTERNAL_OUTPUT_EXE_ETC
cp -rf $TOPDIR/common/3rd_libs/$platform/etc/mosquitto/mosquitto.conf.example $EXTERNAL_OUTPUT_EXE_ETC

CMakeLists.txt内容如下:


cmake_minimum_required(VERSION 3.10.0)
project(ITU2.0 C CXX)

# 设置编译参数
set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -g -rdynamic -funwind-tables -ffunction-sections -std=gnu11")
#set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -g -rdynamic -funwind-tables -ffunction-sections -std=c++14 ")
# 打开所有警告。组内要求,编译过程不可以有任何警告
add_compile_options(-Wall -Wextra)

# 判断平台合法性
if((${ENV_PLATFORM} MATCHES "x86"))
    message(STATUS "ENV_PLATFORM = x86")
elseif(${ENV_PLATFORM} MATCHES "arm")
    message(STATUS "ENV_PLATFORM = arm")
else()
	message(FATAL_ERROR "ENV_PLATFORM ERROR x86 arm")
endif()

find_package(OpenSSL REQUIRED)

# 根据不同平台,设置库查找路径及依赖库
if(${ENV_PLATFORM} MATCHES "x86")

    # 设置x86平台 库查找路径
    set(FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/common/3rd_libs/${ENV_PLATFORM}/lib)

    # 添加依赖库
    set(FOUNDATION_LIBRARIES
        admdebug
        cjson
        easylogger
        iniparser
        mosquitto_static
        sqlite3
        ${FOUNDATION_LIBRARIES}
    )
elseif(${ENV_PLATFORM} MATCHES "arm")
    # 设置arm平台 库查找路径
    set(FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/common/3rd_libs/${ENV_PLATFORM}/lib)
    
    # arm 平台需要添加模组商自身的库,以及跨平台的其它库
    list(APPEND FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/common/oem/libs-lyqr)
    list(APPEND FOUNDATION_LIBDIR ${CMAKE_SOURCE_DIR}/toolchain/linux64/usr/lib)


    # 配置编译链接路径
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}  -Wl,-rpath-link,${CMAKE_SOURCE_DIR}/toolchain/linux64/usr/lib")
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}  -Wl,-rpath-link,${CMAKE_SOURCE_DIR}/toolchain/linux64/lib")
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS}  -Wl,-rpath-link,${CMAKE_SOURCE_DIR}/common/oem/libs-lyqr")

    # 添加arm 平台依赖库
    set(FOUNDATION_LIBRARIES
        admdebug
        cjson
        easylogger
        iniparser
        mosquitto_static
        sqlite3
        #lyqr
        lynq_lib

        ${FOUNDATION_LIBRARIES}
    )
else()
    message(FATAL_ERROR "ENV_PLATFORM ERROR x86 arm")
endif()

# 逐层编译
## 1. 编译基础库
add_subdirectory(foundation)

## 2. 编译抽象层
add_subdirectory(abstract)

## 3. 编译业务层代码
add_subdirectory(application)

foundation/CMakeLists.txt内容如下。理论上foundation目录下都是已经配置文件、动态库、头文件。是不需要编译的。但是由于我们需要兼容x86环境,需要自定义模组商接口,用于调试。

cmake_minimum_required(VERSION 3.10.0)
project(lynq_lib C CXX)

set(project_name lynq_lib)



# x86环境下,依赖接口编译
if("${ENV_PLATFORM}" STREQUAL "x86" )
    file(GLOB engine_src
        "oem/x86/src/*"
    )

    file(GLOB engine_inc
    "oem/x86/inc"
    "oem/x86/src"
    )
endif()

add_library(${project_name} SHARED
    ${engine_src}
)

# 设置链接库路径,因为是底层foundation库,因此主要依赖交叉工具链
target_link_directories(${project_name} PRIVATE ${FOUNDATION_LIBDIR})

abstruct/CMakeLists.txt内容如下:该层是对foundation的抽象,因此肯定会对foundation相关进行依赖。

cmake_minimum_required(VERSION 3.10.0)
project(engine C CXX)

set(project_name saEngine)

file(GLOB engine_src
    #rpc
    "rpc/src/*"

    #network
    "network/src/*"

    #gnss
    "gnss/src/*"

    #se
    "se/src/fdw/*"

    #lpm
    "lpm/src/*"

    #sms
    "sms/src/*"

    #voice_call
    "voice_call/src/*"

    #添加其它抽象层代码
)

file(GLOB engine_inc
    "*/inc"
    "*/src"
)

message(STATUS "engine_inc = ${engine_inc}")
message(STATUS "engine_src = ${engine_src}")

# 生成目标动态库 libsaEngine.so
add_library(${project_name} SHARED
    ${engine_src}
   
)

# 设置头文件查找路径。因为抽象层是对否foundation的抽象,理论上它应该只依赖foundation才对。
target_include_directories(${project_name}
    PRIVATE
    ${engine_inc}
    ${CMAKE_SOURCE_DIR}/foundation/3rd_libs/${ENV_PLATFORM}/include/
    ${CMAKE_SOURCE_DIR}/foundation/libs/include/
    ${CMAKE_SOURCE_DIR}/foundation/3rd_libs/${ENV_PLATFORM}/include/log/
    ${CMAKE_SOURCE_DIR}/foundation/oem/inc/lynq/
    ${CMAKE_SOURCE_DIR}/foundation/oem/inc/mbtk/
)

# 添加依赖库libFoundation.so
target_link_libraries(
    ${project_name}
    PRIVATE
    saFoundation
)

bussniss/basic/CMakeLists.txt内容如下:同理bussniss/extend/CMakeLists.txt也类似。

cmake_minimum_required(VERSION 3.10.0)
project(basic C CXX)

set(project_name basicApp)

# 设置目标文件名称
add_executable(${project_name}
    main.c
    saInitBasicModule.c
    #其它服务源码
)

#添加头文件查找路径。理论上若abstruct层做的足够优秀,业务层是不会直接调用foundation层接口的。
include_directories(
    ${CMAKE_SOURCE_DIR}/abstract/inc/
)

# 设置库依赖
target_link_libraries(
    ${project_name}
    PRIVATE
    saFoundation
	saEngine
  
)

#设置库查找路径
target_link_directories(${project_name} PRIVATE ${FOUNDATION_LIBDIR})

编译成功之后,就是需要构建整包了。package.sh 内容如下:

#!/bin/bash
export PROJECT_ROOT=$(cd "$(dirname "$0")";pwd)

# 创建输出目录
if [ ! -d $PROJECT_ROOT/package ];then
    mkdir $PROJECT_ROOT/package
fi

# 生成 oem_data.ubi。build.sh 脚本会将项目生成物保存到out目录下
mkdir $PROJECT_ROOT/tmp
$PROJECT_ROOT/tools/mkfs.ubifs  -m 2048 -e 126976 -c 507 -F  --space-fixup   --compr=zlib -o $PROJECT_ROOT/tmp/oem_data.ubifs -d $PROJECT_ROOT/out/
cd $PROJECT_ROOT/tmp/
$PROJECT_ROOT/tools/ubinize  -m 2048 -p 131072 -s 2048  -o $PROJECT_ROOT/package/openwrt-mmp-asr1806-oem_data.ubi $PROJECT_ROOT/tools/ubinize-oem.cfg 
cd $PROJECT_ROOT/
rm  -rf $PROJECT_ROOT/tmp


# 生成 root.squashfs
mkdir $PROJECT_ROOT/tmp
cp  -rf $PROJECT_ROOT/sdk-lynq/* $PROJECT_ROOT/tmp/
cp  -rf $PROJECT_ROOT/sdk-shineauto/root-mmp/etc/init.d/mbtk_boot_last  $PROJECT_ROOT/tmp/root-mmp/etc/init.d/mbtk_boot_last

$PROJECT_ROOT/tools/mksquashfs4 $PROJECT_ROOT/tmp/root-mmp $PROJECT_ROOT/package/openwrt-mmp-asr1806-root.squashfs -nopad -noappend -root-owned -no-exports -comp xz -Xpreset 8 -Xe -Xlc 0 -Xlp 2 -Xpb 2 -Xbcj arm -b 64k -p '/dev d 755 0 0' -p '/dev/console c 600 0 0 5 1' -no-xattrs
rm  -rf $PROJECT_ROOT/tmp

# 生成整包
TIMESTAMP=$(date +'%Y%m%d')
GIT_COMMITID=$(git rev-parse --short HEAD)
echo $TIMESTAMP
echo $GIT_COMMITID

mkdir $PROJECT_ROOT/tmp
cp  -rf $PROJECT_ROOT/wholePackage/* $PROJECT_ROOT/tmp
cp  -rf $PROJECT_ROOT/package/openwrt-mmp-asr1806-oem_data.ubi  $PROJECT_ROOT/tmp
cp  -rf $PROJECT_ROOT/package/openwrt-mmp-asr1806-root.squashfs  $PROJECT_ROOT/tmp

# 构建fota包
$PROJECT_ROOT/tools/mkotafbf -f  $PROJECT_ROOT/tmp/asr1806_p301_QSPINAND_Trusted_SDTIM_LPDDR2_OTA_BLF -o $PROJECT_ROOT/package/shineauto_$TIMESTAMP\_$GIT_COMMITID.bin -v "$TIMESTAMP\_$GIT_COMMITID"
$PROJECT_ROOT/tools/ota_update -f $PROJECT_ROOT/package/shineauto_$TIMESTAMP\_$GIT_COMMITID.bin -v $PROJECT_ROOT/tmp/
rm  -rf $PROJECT_ROOT/tmp

总结

本文介绍了如何通过软件架构构建工程架构,并使用CMake进行项目管理。以T-BOX项目为例,详细分析了其软件架构,包括分层结构、业务层、抽象层和基础层。还探讨了如何管理开源库、剥离外部依赖、集成程序到模组中以及如何管理模组商的SDK。希望思路能够帮助到需要的朋友
若我的内容对您有所帮助,还请关注我的公众号。不定期分享干活,剖析案例,也可以一起讨论分享。
我的宗旨:
踩完您工作中的所有坑并分享给您,让你的工作无bug,人生尽是坦途

================ =2024-10-08 补充=========================

问题一:交叉编译一直链接x86平台库?

最近同事在使用我构建的工程中,遇到了一个奇怪的问题:在交叉编译开源库时,顶层CMakeLists.txt中需要依赖OpenSSL库。但是在编译构成中,一直查找的是系统平台库,导致编译失败。如下:
在这里插入图片描述
在这里插入图片描述
经过分析排查,是因为他的系统环境中安装了pkg-config工具,导致了异常情况。

pkg-config,它是一个用于管理和查询已安装库的信息的工具。用于开发环境中,提供了一种方便的方式来获取库的编译和链接信息。比如,比如上层应用依赖开源库的头文件以及库文件,只需要显式的添加其依赖关系,并需要手动指定链接路径以及include路径,在一定程度上提高了开发效率。

pkg-config的工作原理是读取pc文件,统计相关库的路径。以交叉工具链中的openssl为例:

// toolchain/linux64/usr/lib/pkgconfig/openssl.pc
prefix=/usr
exec_prefix=${prefix}
libdir=${exec_prefix}/lib
includedir=${prefix}/include

Name: OpenSSL-libssl
Description: Secure Sockets Layer and cryptography libraries
Version: 1.1.1t
Requires.private: libcrypto
Libs: -L${libdir} -lssl
Cflags: -I${includedir}

由上可知,该配置文件定义了openssl的相关信息:

  • 动态库路径。/usr/lib
  • 头文件路径。/usr/include
    并且也介绍了相关的依赖信息。

系统opensslpc文件内容如下:

// /usr/lib/x86_64-linux-gnu/pkgconfig/openssl.pc
prefix=/usr
exec_prefix=${prefix}
libdir=${exec_prefix}/lib/x86_64-linux-gnu
includedir=${prefix}/include

Name: OpenSSL
Description: Secure Sockets Layer and cryptography libraries and tools
Version: 1.1.1f
Requires: libssl libcrypto

由上已能确认是pkg-config加载openssl.pc文件错误导致的。

方案一

使pkg-config加载toolchain/linux64/usr/lib/pkgconfig/目录下的pc。即:

export PKG_CONFIG_PATH=/home/xieyihua/NDP/foundation/toolchain/linux64/usr/lib/pkgconfig

但是结果肯定也是不行的,因为toolchain/linux64/usr/lib/pkgconfig/openssl.pc中的内容是错误的。openssl的头文件以及库的路径都是错误的(怀疑是模组商是从某些工程中直接拷贝过来的,没有进行修改)。

方案二

重新审视这个问题:为什么我的环境中是可以正确链接到openssl库,而同事的环境不行呢?

分析:我的环境中,在$PATH中添加了路径$BUILD_TOOLCHAIN_DIR/linux64/usr/,因此在其它环境变量中找不到后,自然会遍历该路径,从而发现动态库。但是同事的环境中,存在了pkg-config的环境变量,因此会优先在该路径下查找,结果找到错误的库及头文件路径。核心问题:出现了一个优先级高于$PATH的环境变量。

解决思路:设置一个优先级最高环境变量,高于pkg-config即可。经过查阅资料,发现可利用cmake中的变量,如下:

set(CMAKE_LIBRARY_PATH ${CMAKE_SOURCE_DIR}/toolchain/linux64/usr/lib)
set(CMAKE_INCLUDE_PATH ${CMAKE_SOURCE_DIR}/toolchain/linux64/include)

总结,交叉编译核心是解决两个问题:

  1. 应该在哪个路径查找头文件
  2. 应该在哪个路径找库

那么实际上交叉编译,我们只需要定义好以下几个参数即可。

  1. 编译工具,如下:
export SDKPATH=$(cd $(dirname ${
     
     BASH_SOURCE[0]}) && pwd)
BUILD_TOOLCHAIN_DIR=$SDKPATH/toolchain
export CC=$BUILD_TOOLCHAIN_DIR/linux64/bin/arm-openwrt-linux-gcc
export CXX=$BUILD_TOOLCHAIN_DIR/linux64/bin/arm-openwrt-linux-g++
  1. 头文件和库文件的查找路径,如下:

set(CMAKE_LIBRARY_PATH ${CMAKE_SOURCE_DIR}/toolchain/linux64/usr/lib)
set(CMAKE_INCLUDE_PATH ${CMAKE_SOURCE_DIR}/toolchain/linux64/include)

问题二:编译工程基础库时,提示连接失败“relocation R_ARM_MOVW_ABS_NC against `__stack_chk_guard@@GLIBC_2.4’ can not be used when making a shared object; recompile with -fPIC”

同事在了解开源仓库工程后,自己进行了部分修改。再将开源库的生成物,替换到工程目录下。结果编译出现下述错误。
在这里插入图片描述
通过报错提示,其实可以看出,因为同事编译开源库时,没有添加-fPIC选项导致的。

分析:在构建libsaFoundation.so时,会加载开源静态库(.o 文件的集合)。但是动态库要求所有的.o文件是地址无关的代码(否则代码段无法在多进程共享)参考另一篇文章【程序员的自我修养08】精华!!!动态库的由来及其实现原理,所以导致链接时错误哦。

实际上,我们可以通过readelf -r 查看重定位信息。如下:
在这里插入图片描述
在这里插入图片描述
对比可知,一个是绝对选址,一个是GOT相对选址。

在这里插入图片描述

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/xieyihua1994/article/details/142632192