查看: 3424|回复: 2

[OpenVINO™入门] 从零开始安装配置OpenVINO

本帖最后由 K2dCnC_w 于 2020-7-27 23:32 编辑

简要介绍：

笔者之前对于神经网络的边缘计算加速和部署并不是很了解，在队友的帮助下逐步了解OpenVINO和神经计算棒的一些用法，期间由于没有经验踩了不少的坑，在此分享一下OpenVINO的安装和跑通自带示例的过程，本文的主要参考了OpenVINO官网的安装教程【https://docs.openvinotoolkit.org/latest/openvino_docs_install_guides_installing_openvino_windows.html】，从小白（不就是我吗）视角讲如何将OpenVINO安装在win10系统上！

首先，OpenVINO本身需要CMAKE, python 和 VS这三个依赖项，其本身是对神经网络模型的优化与部署工具，简而言之就是模型本身比较大、可能不适合在边缘计算设备上运行，这个工具包可以将其从各类框架的模型转化为一种网络的中间表示（IR），用于描述这个模型，包括了两个部分：

①.xml 描述网络的拓扑结构

②.bin 网络的权重与偏置的二进制数据

推理引擎使用的是一套通用的CPU，可以再CPU、GPU以及VPU上进行运算，之前听OpenVINO的讲座发现这也可以算是这个工具套件的一大亮点，使得使用更加方便了。我们只需要在推理的时候选择运行设备为VPU，就可以自动部署网络到这类硬件级别的加速单元上进行高效的推理了，听说这款Movidius神经计算棒的功耗仅有1w左右，这样的效能比还是非常惊人的。

这类低成本的边缘神经网络的推理神器很适合编程爱好者与创客做一些需要用到神经网络的小作品。

下面开始讲安装：

1.下载并安装OpenVINO安装包的win10发行版

这个工具包需要在https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit/choose-download/windows.html?elq_cid=6430695下载，是一个免费的工具包，但是英特尔需要用户使用邮箱进行注册，我们按照提示选择页面上的【Register & Download】，进入注册页面，填写邮箱，选择下载win10版本。我们尽量在接下去的安装过程中都选择默认目录进行安装，将组件全部勾选进行安装，安装完成后可能提示缺少一些安装项，不要紧我们继续点击【Finish】完成即可。

2.下载与安装特定版本的python【注意版本要求！！】

在python官网的win10版下载页面【https://www.python.org/downloads/windows/】下载python文件进行安装，OpenVINO对python的版本要求为3.5-3.7，不要选择太高的版本，笔者之前一直用的最新的版本3.8.x，之后再运行OpenVINO的时候会报错。与我们平常安装python一样，记得要勾选将python添加到路径的选项，不然会运行时找不到。

3.下载安装VS2019与CMake3.14【选对工作负载和版本！！尽量安装在默认目录！！】

官网对这两项依赖的要求是CMake2.8.12或更高以及VS2017或2019，但是如果要使用VS2019的话就必须使用CMake3.14，正常下载安装即可，但是有一点值得注意，那就是在VS进行安装的时候，需要勾选是三个负载【.NET桌面开发】【使用C++的桌面开发】【通用windows平台开发】，笔者一开始只勾选了一项导致后面在命令行中验证OpenVINO安装的时候会报错。

4.确定系统硬件要求【看某些处理器是否不支持！！】

官网上列出的支持的硬件包括六代之后的酷睿、至强和神经计算棒等，但是笔者在实测LattePanda Delta时会报错，网上解释是不支持AVX512指令集，查遍网络也没发现解决方案，最终将运行设备从CPU切换为神经计算棒后可以正常运行，可能就是因为这块LattePanda Delta使用的是N4100处理器，不在官方支持的N4200 / 5，N3350 / 5或N3450 / 5之列吧，在个人PC（i7-8750H）上运行时就没有这样的问题。

5.设置环境变量与配置模型优化器

只有设置完临时系统环境变量后才能进行下一步的工作，运行C：\ Program Files（x86）\ IntelSWTools \ openvino \ bin \setupvars.bat即可，后期可以按照官网上的教程手动设置永久环境变量。

之后要设置模型优化器，模型优化器是一个python文件，输入各种框架的模型文件或者ONNX这种通用模型文件格式，将其输出为中间表示文件【IR】，用于进一步的部署与推理。目前了解下来，Caffe和Tensorflow等框架是直接支持转换的，其他如pytorch等则需要先转化为ONNX再进行模型优化。

安装时可以选择一次配置完所有模型的优化器或者单独为某个模型配置优化器，运行C：\ Program Files（x86）\ IntelSWTools \ openvino \ deployment_tools \ model_optimizer \ install_prerequisites目录下的install_prerequisites.bat或install_prerequisites_tf.bat等文件即可。

笔者在为tensorflow配置优化器的时候报出了tensorflow版本不匹配的错误，卸载tensorflow后再运行这个批处理文件会自动再安装上，可以正常使用，推荐将pip先更换至国内镜像加快下载速度。

6.验证步骤

验证部分也只需要处理两个批处理文件，在推理引擎目录C：\ Program Files（x86）\ IntelSWTools \ openvino \ deployment_tools \ demo \下运行demo_squeezenet_download_convert_run.bat可以进行图形分类验证，运行demo_security_barrier_camera.bat可以进行车牌识别，这两个模型也都是需要再重新下载和安装的，可能需要一些时间。