【最新更新】深度学习工具包 Openvino 2021发行版

深度学习工具包 Openvino 2021发行版介绍

OpenVINO的英特尔发行版™ 工具箱：

新版特性

支持从边缘到云的深入学习推理。
支持跨Intel加速器异构执行，使用通用API，用于英特尔CPU、英特尔集成图形、英特尔高斯和神经加速器、英特尔神经计算棒2、英特尔®视觉加速器设计（带英特尔Moviidius）™ VPUs。

通过易于使用的CV函数库和预优化内核，加快上市时间。

包括对CV标准的优化调用，包括OpenCV*和OpenCL™.

版本1中的新内容和更改

执行摘要

2020年10月推出一个主要版本（2021年5月）。您非常鼓励升级到此版本，因为它引入了新的重要功能，以及打破更改和向后不兼容的更改。

对张量流2.2.x的支持。对在TensorFlow 2.2.x框架中训练的模型引入官方支持。

支持最新硬件。介绍对第11代英特尔核心的官方支持™ 物联网应用程序（以前代号为Tiger Lake）的处理器系列，包括使用Iris®Xe图形和英特尔DL Boost指令的新推理性能增强，以及用于低功耗语音处理加速的英特尔高斯和神经加速器2.0。

超越了视野。支持端到端功能，以利用OpenVINO的英特尔®发行版™ 用于计算机视觉以外的工作负载的工具包，包括音频、语音、语言和推荐，新的pr培训模型，支持公共模型、代码示例和演示，以及支持OpenVINO中的非视觉工作负载™ 工具包DL拖缆。

即将于2020年第4季度发布：（Beta发行版）将DL Workbench与Intel®DevCloud for Edge集成。开发人员现在可以使用Intel®DevCloud上的DL Workbench（仅用于边缘而不是本地计算机）来分析模型，以比较、可视化和微调解决方案，以适应多种远程硬件配置。

OpenVINO™ 模型服务器。OpenVINO英特尔发行版的附加组件™ toolkit和一个可扩展的微服务，它提供了一个gRPC或HTTP/REST端点进行推理，从而使在云服务器或边缘服务器环境中部署模型变得更容易。它现在在C++中实现，以减少容器占用（例如，小于500 MB），并提供更高的吞吐量和更低的延迟。

现在可以通过Gitee和PyPI分发方法获得。鼓励您从分发方法中选择并下载。

与2020年相比落后的不兼容变化。

已弃用API列表、API更改

IRv7自2020.3以来一直被弃用，并且在本版本中不再支持它。您不能读取IRv7和LowerCore:：ReadNetwork，建议迁移到IRv10，最高版本。IRv10提供了一个精简的、未来准备好的操作集，它与公共框架相一致，同时更好地支持低精度模型表示，以便在量化模式下运行时保持准确性，以及支持可重塑模型。

已删除推理引擎NNBuilder API。使用NGRAPH代替C++代码创建CNN 图。

删除了以下推断引擎公共API：

推断插件、IInferencePlugin和推断NeppeluginPtr类。使用核心类。

PlugiDispatcher类。使用核心类。

CNNNETRADER课程。使用Core:：ReadNetwork代替。

PrimitiveInfo、TensorInfo和ExecutableNetwork:：GetMapPed拓扑。请使用ExecutableNetwork:：GetExecGraphInfo。

ICNNNetworkStats、NetworkNodeStats、CNNNetwork:：getStats和CNNNetwork:：setStat。使用IRv10和FAKEQUITZE方法进行INT8流量更换。

IshapeInfrasion和CNNNetwork:：addExtension。使用IExtension类作为实现形状推断的nGraph:：节点的容器。

模型优化器

实现了几个优化转换，将操作子图替换为HSwish、Mish、Swish和SoftPlus操作。

模型优化器默认生成IR保持形状计算子图。以前，如果提供“–keep_shape_ops”命令行参数，则会触发此行为。该密钥在此版本中被忽略，并将在下一版本中删除。要触发传统行为以生成固定输入形状的IR（将操作和形状计算子图折叠为常量），请使用“–static_-shape”命令行参数。对于这种IR，在运行时使用推理引擎API更改模型输入形状可能会失败。

修复了模型优化器转换问题导致使用推理引擎重塑API的不可重塑IR。

启用转换以修复原始网络中不可重塑的模式：

硬编码整形

在整形（2D）->MatMul pattern

当模式可以融合到ShuffleChannels或DepthToSpace操作时，重塑->转置->重塑

硬编码插值

在Interpolate->Concat pattern中

为TensorFlow 2.X添加了一个专用的需求文件，以及专用的安装先决条件脚本。

用ScatterNDUpdate-4替换了SparseToDense操作。

ONNX

启用了使用“–output”命令行参数指定模型输出张量名称的功能。

添加了对以下操作的支持：

        Acosh
        Asinh
        Atanh
        DepthToSpace-11, 13
        DequantizeLinear-10 (zero_point must be constant)
        HardSigmoid-1,6
        QuantizeLinear-10 (zero_point must be constant)
        ReduceL1-11, 13
        ReduceL2-11, 13
        Resize-11, 13 (except mode="nearest" with 5D+ input, mode="tf_crop_and_resize", and attributes exclude_outside and extrapolation_value with non-zero values)
        ScatterND-11, 13
        SpaceToDepth-11, 13

TensorFlow

添加了对以下操作的支持：

- Acosh
- Asinh
- Atanh
- CTCLoss
- EuclideanNorm
- ExtractImagePatches
- FloorDiv

MXNet

添加了对以下操作的支持：

- Acosh
- Asinh
- Atanh

推理

常见变化

迁移到MyStuffStudioC++（MSVC）2019编译器作为Windows的默认值，这使得您可以减少2.5x的OpenVIO的二进制大小™ 运行时。请参阅Intel®发行版OpenVINO中的最新功能来减少应用程序占用空间™ 工具箱的详细信息。

有关API中的详细更改，请参阅与v.2020 Release 4相比的Deprecision messages and backward Compatible changes（与v.2020 Release 4相比）部分的Deprecision messages and backward Compatible changes（与v.2020 Release 4相比）一节。

将基于CPU的预处理路径（即针对不同通道数调整大小、布局转换和颜色空间转换）移植到AVX2和AVX512指令集。

推理引擎Python API

启用了nGraph Python API，它允许使用Python与nGraph函数通信。这样就可以对加载的图形执行分析。

已启用设置图形节点的参数。

支持使用pythonapi读取ONNX模型。

CPU插件

改进了使用MSVC编译器构建的CPU插件的性能，使其与使用“英特尔编译器”构建的版本保持一致，它允许使用MSVC作为Windows上二进制分发的默认编译器。这个改变导致CPU插件和其他组件的二进制大小减少了2倍多。请参阅Intel®发行版OpenVINO中的最新功能来减少应用程序占用空间™ 工具箱的详细信息。

添加了对新操作的支持：

        ScatterUpdate-3
        ScatterElementsUpdate-3
        ScatterNDUpdate-3
        Interpolate-4
        CTC-Loss-4
        Mish-4
        HSwish-4

GPU插件

支持第11代Intel®Core™ 物联网（IoT）应用处理器系列（前代号老虎湖）

支持INT8推理管道，并基于Intel®DL Boost for integrated graphics进行优化。

支持新操作：

    Mish
    Swish
    SoftPlus
    HSwish

MYRIAD Plugin

增加了对ONNX更快R-CNN的支持，具有固定的输入形状和动态输出形状。

添加了对自定义OpenCL层的自动DMA的支持。

添加了对新操作的支持：

    Mish
    Swish
    SoftPlus
    Gelu
    StridedSlice
    I32 data type support in Div
Improved the performance of existing operations:
    ROIAlign
    Broadcast
    GEMM

向无数个编译添加了一个新选项VPU TILING_uCMX_ LIMIT_uKB，从而限制DMA事务大小。

OpenCL编译器仅针对“剃须处理器”的英特尔神经计算棒2，将与**OpenVINO重新分配。**OpenCL支持由ComputePorta提供，并根据Intel®和Codeplay*软件有限公司之间的许可协议分发。

HDDL插件

支持自定义OpenCL层的自动DMA。

与MYRIAD插件中相同的新操作和优化。

OpenCL编译器，针对使用Intel®Movidius的Intel®Vision Accelerator设计™ VPU仅用于SHAVE处理器，使用OpenVINO重新分发。OpenCL支持由ComputeOrta提供，并根据Intel®和Codeplay*软件有限公司之间的许可协议进行分发。

GNA插件

增加了对第11代Intel®Core的支持™ 物联网（IoT）应用的处理器系列（以前的代号为老虎湖）。

添加了对多个附加层和层组合的支持，包括：

添加了对多个附加层和层组合的支持，包括：

基于TensorFlow框架的模型卷积层

功率参数与1不同的电源层

输入层数大于2的Concat层

4D元素操作

添加了对从流导入模型的支持。

在Windows上添加了对QoS机制的支持。

在Python基准测试应用程序中添加了对GNA特定参数的支持。

深度学习工作台

启用了预训练TensorFlow2.0模型的导入和分析。

使用POT显示的不同预设启用INT8校准。

在远程目标上启用INT8校准。

改进了IR和运行时图形的可视化，包括图形交互和热图。

增加了可视化的推理结果的图像用户选择。该功能处于实验模式。

OpenCV

已将版本更新到4.5.0。

将上游许可证更改为Apache 2（PR#18073）。

在OpenCV应用程序中添加了对多个OpenCL上下文的支持。

Samples

更新的推理引擎C++示例演示如何直接加载ONNX模型。

Open Model Zoo

用额外的CNN预训练模型和预生成的中间表示（.xml+.bin）扩展了openmodel-Zoo。颜色编码：更换2020.4模型，新款。

面部检测-0200

面部检测-0202

面部检测-0204

面部检测-0205

面部检测-0206

人-检测-0200

人-检测-0201

人-检测-0202

人-再识别-零售-0277

人-再识别-零售-0286

人-再识别-零售-0287

人-再识别-零售-0288

增加了新型号：

bert-large-uncased-整词-掩蔽-squad-emb-0001

bert-small-uncased-whole-word-masking-squad-0002

formula-recognition-medium-scan-0001-im2latex-解码器

formula-recognition-medium-scan-0001-im2latex-encoder

水平-文本-检测-0001

机器翻译-nar-en-ru-0001

机器翻译-nar-ru-en-0001

人-属性-识别-十字路口-0234

人-属性-识别-十字路口-0238

人-车-自行车-检测-2000

人-车-自行车-检测-2001

人-车-自行车-检测-2002

人-车-自行车-检测-十字路口-约洛夫3-1020

车辆检测-0200

车辆检测-0201

车辆检测-0202

报废型号：

人脸检测-adas-binary-0001

行人检测-adas-binary-0001

车辆检测-adas-binary-0001

扩展了对以下模型的支持的公共模型列表：

英特尔VPU处理器

采用Intel®Movidius的Intel®Vision Accelerator设计™ 视觉处理单元（VPU）

操作系统：

Ubuntu*18.04长期支持（LTS），64位（Linux内核5.2及以下）

Windows*10，64位

CentOS*7.6，64位

英特尔Movidius™ 神经计算棒和英特尔神经计算棒2

操作系统：

Ubuntu*18.04长期支持（LTS），64位

CentOS*7.6，64位

Windows*10，64位

Raspbian*（仅限目标）

带Intel®Movidius的AI Edge计算板™ 万千™ X C0视频处理单元，MYDX X 1

操作系统：

Windows*10，64位

与2020.4年相比，向后不兼容的变化

已弃用的API、API更改列表

IRv7自2020.3起就被弃用，本版本不再支持它。您不能读取IRv7和更低的Core:：ReadNetwork，建议迁移到IRv10，最高版本。IRv10提供了一个与公共框架相一致的、面向未来的操作集，并且更好地支持低精度模型表示，以便在量化模式下运行时保持准确性，并支持可重塑模型。

已删除推理引擎NNBuilder API。使用NGRAPH代替C++代码创建美国有线电视新闻网图。

已删除以下推理引擎公共API:

 InferencePlugin、InferencePlugin和InferencEnginePluginPtr类。改用核心类。 

 PluginDispatcher类。改用核心类。 

 cnnTreader类。请改用readcore:：网络。 

 PrimitiveInfo、TensorInfo和ExecutableNetwork:：GetMappedTopology。请改用ExecutableNetwork:：GetExecGraphInfo。 

 ICNNNetworkStats、NetworkNodeStats、CNNNetwork:：getStats和CNNNetwork:：setstats。使用IRv10和FakeQuantize方法替换INT8流。 

 IShapeInferExtension和CNNNetwork:：addExtension。将IExtension类用作实现形状推理的nGraph:：Nodes的容器。 

 来自推理引擎Python API的IEPlugin。请改用核心API。 

 Data:：getCreatorLayer、Data:：getInputTo和CNNLayer。使用CNNNetwork:：getFunction在图形上迭代。 

从OpenVINO开始™ toolkit2020.2版本中，以前通过nGraph提供的所有特性都已合并到OpenVINO中™ 工具箱。因此，以前通过onnxrt执行提供者为nGraph提供的所有特性都与OpenVINO的onnxrt执行提供者合并™ 工具箱。因此，nGraph的ONNX RT执行提供程序将从2020年6月1日起被弃用，并将于2020年12月1日完全删除。迁移到OpenVINO的ONNX RT执行提供程序™ 工具箱作为Intel®硬件上所有AI推断的统一解决方案。

已弃用或删除以下nGraph公共API:

 删除了以前版本中不推荐使用的所有nGraph方法和类。 

 已删除GetOutputElement操作。 

 将copy_替换为new_args（），由克隆_with_new_inputs（）代替。 

 已删除opset0和反向传播操作。 

 从opset0中删除了一些操作，从opset中删除了不推荐的操作，这些操作在较新的opset中没有使用。 

 删除了对JSON格式的序列化nGraph函数的支持。 

 已弃用FusedOp。 

 更改了nGraph公共API的结构。从nGraph公共API中删除了nGraph构建器和引用实现。已与公用操作目录合并并具有实验性操作的子文件夹。