模型加速

最近在学习加速方法。总结大概分3类数学方法 权重优化 模型结构方法1和方法2都是对训练好的模型,进行优化处理。方法1一般不会改变模型的精度,方法2会对精度有影响,并且只能针对冗余权重。而第三种方法,一般都是修改模型,也就是训练时候,就是用优化的模型结构。说的再多,他们之间也有相通的比如可以把权重矩阵分解理解成数学方法。具体内溶,还在总结整理代码中。..._常见的模型加速方法 csdn
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

keras的plot_model错误三连

from keras.layers import Input, Conv2D, MaxPool2D, Flatten, Dense, Activationfrom keras import regularizersfrom keras.models import Modelimport keras.activations as activationfrom keras.utils imp..._keras plot model报错
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

4d矩阵与2d矩阵相互映射关系

4d矩阵与2d矩阵相互映射关系,svd降维时候用到。import cupy as cpd4 = cp.linspace(1, 1000, 1000).reshape(10, 4, 5, 5) # [N,C,d,d]def four_2_two(d4): N, C, d, _ = d4.shape d2 = cp.empty([d * N, d * C]) ..._4d矩阵
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

关于模型压缩/优化系统学习的内容

本文主要介绍关于模型压缩/优化系统学习的内容,让你找论文学习有方向。并不提供详尽内容域代码。1 压缩加速系统1.1 卷积核张量的低秩分解1.1.1 迭代法1.1.2 SVD1.2 网络剪枝1.3 网络参数量化1.3.1 线性量化1.3.1.1 对称1.3.1.2 不对称1.3.1.3 极限二值化1.3.2 非线性量化1.3.2.1 对数1.3.2...
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

深度学习中的缩写

真的好烦缩写,特别容易弄混,我在毕业答辩时候,老师也说,比用缩写,特烦。下图来源于:2019,苏州科技大学,康一帅,基于卷积神经网络的图像识别算法研究[D]粗略看一下,发现其40页,59页是空白页。可能毕业太着急了。。。..._深度学习缩写
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

评价游戏:战歌竞技场

以下内容为2020/05/16 12:00:00以前这个游戏我从测试阶段就开始玩。现在进入了正式阶段。有幸,拿到了6元游戏注册红包。不过游戏品质和游戏内容,真的不敢恭维。完全是个借鉴+半成品。1 从整体来说,很多东西借鉴了多多自走棋(以下称多多)的内容。种族关系和职业关系有很多事借鉴多多,比如德鲁伊升星,精灵,海族的关系。还有相同的种族。模型和技能也有借鉴多多,不过做出来的效果没有多多的好,比较烂。2 种族/职业关系凑不够数你在游戏的时候,会发现很多种族和职业羁绊不能触发,因为凑不够数。_战歌竞技场垃圾
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

关于tensorflow模型保存几种格式

ckpt常规模型,模型结构,数据,运算图分开保存。常用在训练阶段使用。h5keras前端保存的模型格式,有两种,纯数据和数据+网络结构,可以被tf调用。可以用软件查看内部。pb用于lite端/server端,包括结构+数据,不可以修改内部,也就是为什么叫做凝固图了。pbtxtpb的扩展格式,可以被修改内容,用记事本就可以修改。tflite一种实验的数据格式,可以用轻量级的`tflite_runtime`包来调用,方便用于服务器部署。作为学习 比较推荐h5,部署推._tensorflow模型保存格式
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

关于conv代替fc操作并不可取

今天做压缩问题,需要把maxpool融合到fc中,直接做是不可能的。这时候我想到了用conv代替fc,maxpool融合到conv中,这样可以融合。这时候问题出现了。参数两增加。未融合时的参数量max_pooling2d_5 (MaxPooling2D) (None, 2, 2, 96) 0 concatenate_4[0][0] _______________________________________________________
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

tensorflow量化称pb文件后,win系统运行报错问题

tensorflow 1.14.0 把vgg模型量化成int8后,在win系统跑,报错如下Evaluating......Traceback (most recent call last): File C:\\Users\\user\\AppData\\Roaming\\Python\\Python36\\site-packages\\tensorflow_core\\python\\client\\session.py, line 1365, in _do_call return fn(*args).._量化pb文件
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

把slim代码改成layers和layers的层定义

把slim代码改成layers代码,为什么不改成keras代码?因为需要该很多东西,工作量比layers的方法大。layers的低层实现是keras。快速修改的方法。首先,找到模型的入口,我的如下图。然后,顺着再找出所有的with slim.arg_scope([slim.batch_norm], **batch_norm_params): with slim.arg_scope([slim.conv2d], weights_regularizer=regularizer):._slim改成
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

tensorflow-serving布置facenet心得

这个的东西困扰我很久,终于弄成了。不知道我做的是不是太繁琐,如果有人做的更简单,希望指出,谢谢。docker中,做了两个容器,一个放的mtcnn,一个放的facent。他们并不是多模型布置的。mtcnn其中包括:pnet,rnet和onet,这三个是多模型布置。客户端通过调用mtcnn,得到返回值,然后传给facenet。这里有个问题。numpy数组的事,需要转换。不能直接穿numpy的数组给tf-serving。报错一般有两个方面原因,路径错误或者就是传入的值类型不对。还有就是一个问题,绑_tensorflow facenet
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

tfs配置环境

tfs有两种方法布置,一个是通过docker,一个bazel。我用的是docker。比较老的博文说的是把bazel布置在docker中,或者布置ubuntu中。我这里说的是win下布置。docker布置1.去官网注册,然后下载。然后一直下一步就行。点开settings,修改配置源,如下图。{ registry-mirrors: [ https://alzgoonw.mirror.aliyuncs.com ]}输入下面代码验证docker run h._curl -d 鈥榹\\instances
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

某些激活函数真的对模型有作用吗?

激活函数作用是什么?给w+b一个约束。要么是排除赋值(relu),要么是缩放到一个范围(tanh等),或者更加极端(1,0)。下面是一个训练好(flowers acc 74.6%)的vgg16中某一层的w中的一个feature值。可以看到其中正负都有。不能排除其中负的部分对模型的准确率没有影响。假设,如果他有作用,那么可能是在纠正太“正”(过拟合)的作用。才会有relu的变形,prelu。上图为w上图为b我认为负值也很重要,选择激活函数,应该想到。我这么理解的,可能不对。..._激活函数的目的是让模型具备非线性拟合数据能力
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

稀疏训练

什么是稀疏训练,看下面的流程。说白了,就是删除cnn中weight,某个面中不要的值。如何取这个阈值呢?一般都是方差作为标准。也有把负值设为0的。这里感觉像什么?激活函数吧。也是剪枝的一种,不同于通道剪枝,会加速运算。只是提高准确率性。参考http://www.xjishu.com/zhuanli/55/201710473955.html..._稀疏训练
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

深度学习-人脸 笔试题

1 解释1x1 卷积的作用?2 写出激活函数switch relu及变形 tanh sigmoid maxout公式?3 再考虑算计问题上,如何选择以上面激活函数?4 简述密集网络和树形网络思想?5 列举5个人脸识别中应用的loss并说明考虑的角度?6 写出并解释l softmax公司参数含义?7 解释incptionv1到 v4模型有话方法?8 如何处理过拟合?9 训练和测试模型表现良好,验证结果不好,怎么处理?10 简述剪枝思想,并列举一种?11 解释mns?12 写出三种替换f._面部识别 面试题
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

tensorflow与keras对应关系

https://docs.floydhub.com/guides/environments/keras <= 2.3.1的版本,没有model.weight_load函数
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

被长扬科技面试经历

就这家https://www.cy-tech.net/.遇到个女的技术总监,过程真的很心烦。问了好多简历上没有的经历。也没怎么深入问一些问题,都是我在自说。整个场面都很尴尬弄得。我就不明白了,hr不筛下简历吗,还是为了每个月的业绩,看到就给技术部。还有,问问题能不能围绕的简历来,真累。本来表情模型要写完了,弄得下午一点兴趣没有。我真不懂,工业安全检测,55帧取一个图像(也就是1分钟取一个图,好吧,她还说了29帧取一个图,感觉她完全不懂帧的概念),是行业标准吗?标远设备做ai,我用树莓派做过,目标检测_北京长扬科技怎么样
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

如何在自己的model中,加入签名。

这个方法不是最好的。但是如果有人想用他用你的模型,这个可以作为证据。具体方法:找到一个层,这个层的参数不能太多(计算不影响速度),然后加上日期,比如今天20200727,然后在剪掉。这个日期也可以用公式重新编码下,以免别人能察觉出来。有的时候,你需要把自己的模型给你应聘的公司看,但是不想他们使用。如果使用了。你可以通过这个来说事。...
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

戴口罩人脸人别

戴口罩人脸人别,其实还是类内分类问题。人脸对齐出来人脸,然后开始做分类任务。这个把人脸对齐出来后的人脸进行切割。比如说原图对齐后然后对这个图片进行处理。把他切成口罩+眼睛的形式。把这两部分同时喂入网络。眼睛的计算的loss+口罩计算的loss合起来事总loss。但是,眼睛部分占了总loss的0.8.和没有戴口罩的这个人的人脸喂入相同的特征网络。计算loss。center+softmax。让这两个人脸接近。没有考虑小的人脸,网络没有选择宽网络,而是选的mini-xepti.
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0

笔记本安装Ubuntu18.04各种坑及相关软件

目录1 安装系统1.1 修改参数1.2 分盘1.3 重启电脑2 配置电脑2.1 设置软件源2.2 设置附加2.3 检测你的NVIDIA图形卡和推荐的驱动程序的模型3 降级gCC4 cuda安装4.1 NVIDIA与cuda对照4.2 deb 版安装 cuda9.0 nvdia3904.2.1 下载4.2.2 配置环境4.3 run ..._笔记本安装ubuntu
分类: 其他 发布时间: 07-31 12:13 阅读次数: 0