【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的?

三个月没更新了啊,回来更一发~~ csdn上主要讲一些coding过程中遇到的函数,问题,解决方案。偏实践 另外,如果你想看一些理论方面的东西,欢迎加我的知乎 csdn私信几乎不看,有问题交流可以发邮箱:[email protected]或者知乎私信,看到我会第一时间回复各位 之前的文章里有人和我提了参数位置的问题,非常感谢。之前我用的tensorflow版本是0.8,在1.0大改
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】辅助工具篇——scikit-image介绍

很多时候我们跑deep learning算法的难点不在于搭建网络,而是数据获取与处理,当你看到大量的数据却无从下手时该是怎样的心情! 这几篇我将为大家介绍目前很多paper代码复现中比较流行的辅助工具 首先我们简要介绍一下scikit-image这个扩展包: scikit-image (a.k.a. skimage) 是一个图像处理和计算机视觉的算法集合。当然提到图像不得不提opencv
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】怎样为你的网络预加工和打包训练数据?(一)

面对五花八门的数据集,各种各样的数据存储形式,刚新手入门的我们在处理这些情况的时候是否会手足无措?反正一路走来,我的经验告诉我,deep learning的实验阶段,数据准备和处理过程往往会让你碰一鼻子灰。明明知道如何搭建网络,还是完成不了实验,究其原因,是数据工程经验的不足。 我打算做这个系列,主要是记录针对不同种类,格式的数据的处理方案。数据预处理的首篇,我为大家展示一种常见情形的处理方法
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】辅助工具篇——matplotlib介绍(上)

期待已久的一章!数据可视化,数据图表分析,paper画图神器,matplotlib登场了 因为有太多可讲,我们分成几篇来详细介绍,如果你想发paper,学好这个,如果你要做工程,那更要学好这个,总的来说,可视化图表绘制工具是必须要熟练使用的。 有人可能会说Tensorflow不是有tensorboard来训练可视化吗?tensorboard所记录的数据的数据对于我们分析是远远不够的,很多指标用
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】辅助工具篇——matplotlib介绍(中)

一.进阶绘图 等高线 等高线图经常用来表示一个二元函数z=f(x,y),我们可以形象的用一张网格图上面的点的函数值来描述。 #%matplotlib inline import matplotlib.pyplot as plt import numpy as np def f(x, y): return np.sin(x) ** 10 + np.cos(10 + y * x) *
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】怎样为你的网络预加工和打包训练数据?(二):小数据集的处理方案

实验环境:python2.7 第二篇我们来讲一讲小数据集的处理方法,小数据集一般多以文本存储为主,csv是一种流行的数据格式,另外也有txt等。当然也会有.mat或者.npy这种经过处理的格式。 一.处理csv格式数据集 实验数据集是鸢尾花卉数据集iris,格式是.csv,需要的同学可以到这里下载 为了工程需要我直接介绍读取该类型数据的最快方法,通过一些库,我们是可以用很少的步骤就读取
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】辅助工具篇——matplotlib介绍(下)

ok,最后一篇我们来讲如何对某一个具体的数据集来做可视化分析。 现在我们要引入一个以matplotlib作为基础的更高级的api:Seaborn,Seaborn有什么用?简单地说,就是用更少的语句,画出更好看的图。
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】超大规模数据集解决方案:通过线程来预取(上)

环境Tensorflow1.2(这是最新的一个版本),python2.7 这是我重点要讲的解决方案,我怕篇幅过长,分成了两篇,上篇介绍一下预备的东西,下篇来进行实验 一.Tensorflow中的队列机制 队列和线程是Temsorflow中实现异步的重要工具。为什么要异步?用一个形象的例子来解释这个问题。 可以把数据导入的过程看作io操作,在数据规模极大的情况下,io请求需要大量时间执行。同
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】超大规模数据集解决方案:通过线程来预取(下)

环境Tensorflow1.2,python2.7 现在让我们用Tensorflow实现一个具体的Input pipeline,我们使用CoCo2014作为处理对象,网上应该可以下载到CoCo训练集,train2014这个文件。下载链接: http://msvocds.blob.core.windows.net/coco2014/train2014.zip 一共13.5G,解压完
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】用tersorflow内置函数做图片预处理

本篇作为【Tensorflow】超大规模数据集解决方案的补充,介绍一下tersorflow内置函数对图片的预处理。前面的方法都是用skimage等辅助库来处理图像,因为我们都是在外部处理完所有的图像,然后再输入网络,以Placeholder的形式。但是当我们使用Tensorflow内部的Input pipeline的时候,图片一经读取,就已经转换成了Tensorflow内置的格式,这种格式下,
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

官方教程:用Pytorch实现迁移学习

迁移学习官方教程 翻译+搬运自:http://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html#training-the-model 前置阅读:PyTorch深度学习:60分钟入门(Translation) - 知乎专栏 实际情况下,很少有人从头开始训练整个卷积网络(网络参数随机初始化),因为很难
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?

实验环境:tensorflow版本1.2.0,python2.7介绍tf.nn.separable_conv2d可以看做,深度卷积tf.nn.depthwise_conv2d的扩展,所以首先我们需要了解depthwise_conv2d,可以查看我的另一篇博客: 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?tf.nn.separable_conv2d(inpu
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?

实验环境:tensorflow版本1.2.0,python2.7介绍depthwise_conv2d来源于深度可分离卷积:Xception: Deep Learning with Depthwise Separable Convolutionstf.nn.depthwise_conv2d(input,filter,strides,padding,rate=None,name=None,data_fo
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【TensorFlow】TensorFlow 的卷积神经网络 CNN - TensorBoard 版

前面 写了一篇用 TensorFlow 实现 CNN 的文章,没有实现 TensorBoard,这篇来加上 TensorBoard 的实现,代码可以从 这里 下载。 什么是 TensorBoard To make it easier to understand, debug, and optimize TensorFlow programs, we’ve included a s...
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Python】统计字符串中英文、空格、数字、标点个数

题外话:今天打酱油的做了网易数据挖掘工程师的在线笔试题,被打击了。本文代码可在 这里 下载。问题在网上无意间看到这么一个题目:统计一个字符串中的中英文、空格、数字、标点符号个数。 正好再熟悉一下 Python 中字符串相关方法,所以来做一下。代码# coding: utf-8import string from collections import namedtuple def str_count
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

奇异值分解 SVD 的数学解释

奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR decomposition)和极分解(Polar decomposition)等。这篇文章主要说下奇异值分解,
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

XGBoost 在 Windows 10 和 Ubuntu 上的安装

关于什么是 XGBoost,我在这里不再解释,如果有时间的话再写一篇文章来解释,在数据科学里非常有用。大家可以参考 Tianqi Chen 的论文 XGBoost: A Scalable Tree Boosting System ,本篇文章只是在 Windows 上安装 XGBoost 的 Python 包的方法。官网官网 介绍的方法是从 GitHub 编译安装,但是在我的机器上没有成功,pip 同
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【TensorFlow】DNNRegressor 的简单使用

tf.contrib.learn.DNNRegressor 是 TensoFlow 中实现的一个神经网络回归器。一般神经网络用于分类问题的比较多,但是同样可以用于回归问题和无监督学习问题。此文的代码和所生成的 TensorBoard 文件可以从 这里 下载。tf.contrib.learntf.contrib.learn 是 TensorFlow 提供的一个机器学习高级 API 模块,让用户可以更方
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

【Python】Numpy 中的 shuffle VS permutation

有时候我们会有随机打乱一个数组的需求,例如训练时随机打乱样本,我们可以使用 numpy.random.shuffle() 或者 numpy.random.permutation() 来完成。这两者非常相似,实现的功能是一样的,那么他们到底有什么区别?本文代码及图片可以在 我的GitHub 找到。参数区别以下 numpy.random.shuffle() 简称 shuffle,numpy.random
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0

使用集成学习提升机器学习算法性能

使用集成学习提升机器学习算法性能 这篇文章是对 PythonWeekly 推荐的一篇讲集成模型的文章的翻译,原文为 Ensemble Learning to Improve Machine Learning Results,由 Vadim Smolyakov 于 2017 年 8 月 22 日发表在 Medium 上,Vadim Smolyakov 是一名 MIT 的研究生,对数据科学和机器学习
分类: 其他 发布时间: 09-22 23:28 阅读次数: 0