【TensorFlow】tf.nn.conv2d_transpose是怎样实现反卷积的?
三个月没更新了啊,回来更一发~~
csdn上主要讲一些coding过程中遇到的函数,问题,解决方案。偏实践
另外,如果你想看一些理论方面的东西,欢迎加我的知乎
csdn私信几乎不看,有问题交流可以发邮箱:[email protected]或者知乎私信,看到我会第一时间回复各位
之前的文章里有人和我提了参数位置的问题,非常感谢。之前我用的tensorflow版本是0.8,在1.0大改
【Tensorflow】辅助工具篇——scikit-image介绍
很多时候我们跑deep learning算法的难点不在于搭建网络,而是数据获取与处理,当你看到大量的数据却无从下手时该是怎样的心情!
这几篇我将为大家介绍目前很多paper代码复现中比较流行的辅助工具
首先我们简要介绍一下scikit-image这个扩展包:
scikit-image (a.k.a. skimage) 是一个图像处理和计算机视觉的算法集合。当然提到图像不得不提opencv
【Tensorflow】怎样为你的网络预加工和打包训练数据?(一)
面对五花八门的数据集,各种各样的数据存储形式,刚新手入门的我们在处理这些情况的时候是否会手足无措?反正一路走来,我的经验告诉我,deep learning的实验阶段,数据准备和处理过程往往会让你碰一鼻子灰。明明知道如何搭建网络,还是完成不了实验,究其原因,是数据工程经验的不足。
我打算做这个系列,主要是记录针对不同种类,格式的数据的处理方案。数据预处理的首篇,我为大家展示一种常见情形的处理方法
【Tensorflow】辅助工具篇——matplotlib介绍(上)
期待已久的一章!数据可视化,数据图表分析,paper画图神器,matplotlib登场了
因为有太多可讲,我们分成几篇来详细介绍,如果你想发paper,学好这个,如果你要做工程,那更要学好这个,总的来说,可视化图表绘制工具是必须要熟练使用的。
有人可能会说Tensorflow不是有tensorboard来训练可视化吗?tensorboard所记录的数据的数据对于我们分析是远远不够的,很多指标用
【Tensorflow】辅助工具篇——matplotlib介绍(中)
一.进阶绘图
等高线
等高线图经常用来表示一个二元函数z=f(x,y),我们可以形象的用一张网格图上面的点的函数值来描述。
#%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
def f(x, y):
return np.sin(x) ** 10 + np.cos(10 + y * x) *
【Tensorflow】怎样为你的网络预加工和打包训练数据?(二):小数据集的处理方案
实验环境:python2.7
第二篇我们来讲一讲小数据集的处理方法,小数据集一般多以文本存储为主,csv是一种流行的数据格式,另外也有txt等。当然也会有.mat或者.npy这种经过处理的格式。
一.处理csv格式数据集
实验数据集是鸢尾花卉数据集iris,格式是.csv,需要的同学可以到这里下载
为了工程需要我直接介绍读取该类型数据的最快方法,通过一些库,我们是可以用很少的步骤就读取
【Tensorflow】辅助工具篇——matplotlib介绍(下)
ok,最后一篇我们来讲如何对某一个具体的数据集来做可视化分析。
现在我们要引入一个以matplotlib作为基础的更高级的api:Seaborn,Seaborn有什么用?简单地说,就是用更少的语句,画出更好看的图。
【Tensorflow】超大规模数据集解决方案:通过线程来预取(上)
环境Tensorflow1.2(这是最新的一个版本),python2.7
这是我重点要讲的解决方案,我怕篇幅过长,分成了两篇,上篇介绍一下预备的东西,下篇来进行实验
一.Tensorflow中的队列机制
队列和线程是Temsorflow中实现异步的重要工具。为什么要异步?用一个形象的例子来解释这个问题。
可以把数据导入的过程看作io操作,在数据规模极大的情况下,io请求需要大量时间执行。同
【Tensorflow】超大规模数据集解决方案:通过线程来预取(下)
环境Tensorflow1.2,python2.7
现在让我们用Tensorflow实现一个具体的Input pipeline,我们使用CoCo2014作为处理对象,网上应该可以下载到CoCo训练集,train2014这个文件。下载链接:
http://msvocds.blob.core.windows.net/coco2014/train2014.zip
一共13.5G,解压完
【Tensorflow】用tersorflow内置函数做图片预处理
本篇作为【Tensorflow】超大规模数据集解决方案的补充,介绍一下tersorflow内置函数对图片的预处理。前面的方法都是用skimage等辅助库来处理图像,因为我们都是在外部处理完所有的图像,然后再输入网络,以Placeholder的形式。但是当我们使用Tensorflow内部的Input
pipeline的时候,图片一经读取,就已经转换成了Tensorflow内置的格式,这种格式下,
官方教程:用Pytorch实现迁移学习
迁移学习官方教程
翻译+搬运自:http://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html#training-the-model
前置阅读:PyTorch深度学习:60分钟入门(Translation) - 知乎专栏
实际情况下,很少有人从头开始训练整个卷积网络(网络参数随机初始化),因为很难
【Tensorflow】tf.nn.separable_conv2d如何实现深度可分卷积?
实验环境:tensorflow版本1.2.0,python2.7介绍tf.nn.separable_conv2d可以看做,深度卷积tf.nn.depthwise_conv2d的扩展,所以首先我们需要了解depthwise_conv2d,可以查看我的另一篇博客: 【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?tf.nn.separable_conv2d(inpu
【Tensorflow】tf.nn.depthwise_conv2d如何实现深度卷积?
实验环境:tensorflow版本1.2.0,python2.7介绍depthwise_conv2d来源于深度可分离卷积:Xception: Deep Learning with Depthwise Separable Convolutionstf.nn.depthwise_conv2d(input,filter,strides,padding,rate=None,name=None,data_fo
【TensorFlow】TensorFlow 的卷积神经网络 CNN - TensorBoard 版
前面 写了一篇用 TensorFlow 实现 CNN 的文章,没有实现 TensorBoard,这篇来加上 TensorBoard 的实现,代码可以从 这里 下载。
什么是 TensorBoard
To make it easier to understand, debug, and optimize TensorFlow programs, we’ve included a s...
【Python】统计字符串中英文、空格、数字、标点个数
题外话:今天打酱油的做了网易数据挖掘工程师的在线笔试题,被打击了。本文代码可在 这里 下载。问题在网上无意间看到这么一个题目:统计一个字符串中的中英文、空格、数字、标点符号个数。
正好再熟悉一下 Python 中字符串相关方法,所以来做一下。代码# coding: utf-8import string
from collections import namedtuple
def str_count
奇异值分解 SVD 的数学解释
奇异值分解(Singular Value Decomposition,SVD)是一种矩阵分解(Matrix Decomposition)的方法。除此之外,矩阵分解还有很多方法,例如特征分解(Eigendecomposition)、LU分解(LU decomposition)、QR分解(QR decomposition)和极分解(Polar decomposition)等。这篇文章主要说下奇异值分解,
XGBoost 在 Windows 10 和 Ubuntu 上的安装
关于什么是 XGBoost,我在这里不再解释,如果有时间的话再写一篇文章来解释,在数据科学里非常有用。大家可以参考 Tianqi Chen 的论文 XGBoost: A Scalable Tree Boosting System ,本篇文章只是在 Windows 上安装 XGBoost 的 Python 包的方法。官网官网 介绍的方法是从 GitHub 编译安装,但是在我的机器上没有成功,pip 同
【TensorFlow】DNNRegressor 的简单使用
tf.contrib.learn.DNNRegressor 是 TensoFlow 中实现的一个神经网络回归器。一般神经网络用于分类问题的比较多,但是同样可以用于回归问题和无监督学习问题。此文的代码和所生成的 TensorBoard 文件可以从 这里 下载。tf.contrib.learntf.contrib.learn 是 TensorFlow 提供的一个机器学习高级 API 模块,让用户可以更方
【Python】Numpy 中的 shuffle VS permutation
有时候我们会有随机打乱一个数组的需求,例如训练时随机打乱样本,我们可以使用 numpy.random.shuffle() 或者 numpy.random.permutation() 来完成。这两者非常相似,实现的功能是一样的,那么他们到底有什么区别?本文代码及图片可以在 我的GitHub 找到。参数区别以下 numpy.random.shuffle() 简称 shuffle,numpy.random
使用集成学习提升机器学习算法性能
使用集成学习提升机器学习算法性能
这篇文章是对 PythonWeekly 推荐的一篇讲集成模型的文章的翻译,原文为 Ensemble Learning to Improve Machine Learning Results,由 Vadim Smolyakov 于 2017 年 8 月 22 日发表在 Medium 上,Vadim Smolyakov 是一名 MIT 的研究生,对数据科学和机器学习
今日推荐
周排行