Azure Kinect DK实现多帧环境重建（Open3D）

  Azure Kinect DK相机单帧扫描的图像会存在一定的信息失真和缺失，于是想做个多帧重建试试效果。

非实时重建

  这里主要参考这篇文章：《Azure Kinect DK 实现三维重建 （PC非实时版）》。
  博主 lucky li 给的代码可以跑通，效果也算可以。整个代码的流程大致是录制一段重建对象的视频，然后进行逐帧分解得到彩色图像和深度图像，然后每帧相互之间进行特征匹配，最终重建点云。这里对博主的代码进行了一定的调整，因为录制视频的代码可视化窗口只显示彩色图像和深度图像，Kinect相机在距离过近时采集信息会失真或缺失，采用显示点云便于判断相机距离是否合适。
  首先将以下GitHub中的pykinect_azure文件夹复制到博主代码的open3d_reconstruction/sensor文件夹下：https://github.com/struggler176393/Kinect_pointcloud
  open3d_reconstruction/sensors/azure_kinect_recorder.py修改如下：

import sys
sys.path.insert(1, './')

import argparse
import datetime
import open3d as o3d
import numpy as np
import pykinect_azure as pykinect
from pykinect_azure.utils import Open3dVisualizer

class RecorderWithCallback:

    def __init__(self, config, device, filename, align_depth_to_color):
        # Global flags
        self.flag_exit = False
        self.flag_record = False
        self.filename = filename
        self.open3dVisualizer = Open3dVisualizer()

        self.align_depth_to_color = align_depth_to_color
        self.recorder = o3d.io.AzureKinectRecorder(config, device)
        if not self.recorder.init_sensor():
            raise RuntimeError('Failed to connect to sensor')

    def escape_callback(self, vis):
        self.flag_exit = True
        if self.recorder.is_record_created():
            print('Recording finished.')
        else:
            print('Nothing has been recorded.')
        return False

    def space_callback(self, vis):
        if self.flag_record:
            print('Recording paused. '
                  'Press [Space] to continue. '
                  'Press [ESC] to save and exit.')
            self.flag_record = False

        elif not self.recorder.is_record_created():
            if self.recorder.open_record(self.filename):
                print('Recording started. '
                      'Press [SPACE] to pause. '
                      'Press [ESC] to save and exit.')
                self.flag_record = True

        else:
            print('Recording resumed, video may be discontinuous. '
                  'Press [SPACE] to pause. '
                  'Press [ESC] to save and exit.')
            self.flag_record = True

        return False

    def run(self):
        glfw_key_escape = 256
        glfw_key_space = 32
        self.open3dVisualizer.vis.register_key_callback(glfw_key_escape, self.escape_callback)
        self.open3dVisualizer.vis.register_key_callback(glfw_key_space, self.space_callback)
        print("Recorder initialized. Press [SPACE] to start. "
              "Press [ESC] to save and exit.")

        vis_geometry_added = False
        while not self.flag_exit:
            self.rgbd = self.recorder.record_frame(self.flag_record,
                                              self.align_depth_to_color)
            if self.rgbd is None:
                continue

            color_image = self.rgbd.color
            depth_image = self.rgbd.depth

            rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(
                color_image, depth_image,
                convert_rgb_to_intensity=False)
            intrinsic = o3d.camera.PinholeCameraIntrinsic(
                o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault )
            intrinsic.set_intrinsics(
                width=1280, height=720, fx=605.805115, fy=605.625549, cx=641.717163, cy=363.225800)

            self.point_cloud = o3d.geometry.PointCloud.create_from_rgbd_image(rgbd_image, intrinsic)

            self.open3dVisualizer(self.point_cloud.points,self.point_cloud.colors)

        self.recorder.close_record()


if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='Azure kinect mkv recorder.')
    parser.add_argument('--config', type=str, help='input json kinect config')
    parser.add_argument('--output', type=str, help='output mkv filename')
    parser.add_argument('--list',
                        action='store_true',
                        help='list available azure kinect sensors')
    parser.add_argument('--device',
                        type=int,
                        default=0,
                        help='input kinect device id')
    parser.add_argument('-a',
                        '--align_depth_to_color',
                        action='store_false',
                        help='enable align depth image to color')
    args = parser.parse_args()

    if args.list:
        o3d.io.AzureKinectSensor.list_devices()
        exit()

    if args.config is not None:
        config = o3d.io.read_azure_kinect_sensor_config(args.config)
    else:
        config = o3d.io.AzureKinectSensorConfig()

    if args.output is not None:
        filename = args.output
    else:
        filename = '{date:%Y-%m-%d-%H-%M-%S}.mkv'.format(
            date=datetime.datetime.now())
    print('Prepare writing to {}'.format(filename))

    device = args.device
    if device < 0 or device > 255:
        print('Unsupported device id, fall back to 0')
        device = 0

    r = RecorderWithCallback(config, device, filename,
                             args.align_depth_to_color)
    r.run()

  由于我要重建的对象尺寸比较小，因此需要修改一下运行python sensors/azure_kinect_mkv_reader.py --input dataset/name.mkv --output dataset/name之后得到的open3d_reconstruction/dataset/name/config.json文件，减小tsdf_cubic_size参数的值（找半天才找到），最终得到的scene/integrated.ply文件点云稠密性越高，尝试了一下tsdf_cubic_size取0.5和0.3看看效果，取0.2及以下的时候电脑跑不动杀死进程了。
  一些运行的时间数据（录制了7秒的视频）：

- Making fragments    0:06:34.716390
- Register fragments  0:00:00.016120
- Refine registration 0:00:00.015653

tsdf_cubic_size=0.5

Integrate frames    0:00:56.776975

点云结果：


 

tsdf_cubic_size=0.3

Integrate frames    0:05:38.702845

点云结果：

 

• 两种参数得到的结果基本相差不大，但是重建还是比较耗时的，难以满足实时性的需求，由于这次重建大概有71帧RGB图像和深度图像参与重建，如果想要加快速度可以减小帧数试试。还有就是多帧重建实际上好像牺牲了一定的精度，下面这是单帧扫描的点云图像：
  
    单帧点云图除了有些地方可能缺失深度信息，精度方面还是更好一些，多帧重建应该更适合大环境重建。

 

实时重建

  这里主要参考这篇文章：《Azure Kinect DK 实现三维重建 （jetson实时版）》。
  ROS工作空间建好编译就可以看结果了：

  基本上大致的物体是能重建出来的，就是不知道为什么有很多从相机位置发散出来的噪声点，导致点云有点不好看，后续可以去噪处理一下。