TF-Slim ImageNet数据集制作

其他 2018-09-15 11:11:02 阅读次数: 0
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Gavin__Zhou/article/details/80242998 
                                        <div class="markdown_views">
            <p>TF-Slim(tensorflow.contrib.slim)是TensorFlow的高层API，类似layers，主要可以用来快速的设计、评估模型，有着类似keras般的语法 <br>

Tensorflow models包含一个Slim的图像分类库，可以微调、训练、使用预训练模型来对图像进行分类，包含的主要CNN网络有:

  • Inception V1/2/3/4
  • Inception-ResNet-V2
  • ResNet 50/101/152
  • VGG 16/19
  • MobileNet V1/2
  • NASNet/PNASNet

项目地址: https://github.com/tensorflow/models/tree/master/research/slim

如何使用

很简单，三部曲就可以：

  1. 安装models
  2. 准备数据集
  3. 训练/微调/直接使用

文档已经写的很清楚了，照着做基本是没问题的，以下步骤来自文档教程：

安装

  1. 安装TensorFlow (>1.0)
  2. 克隆models（https://github.com/tensorflow/models/）

准备数据集

官方提供四种数据集：
Flowers、CIFAR-10、MNIST、ImageNet-2012
前三个数据集数据量小，直接调用相关脚本自动会完成下载、转换（TFRecord格式）的过程，类似：

DATA_DIR=/tmp/data/flowers
python download_and_convert_data.py \
    --dataset_name=flowers \
    --dataset_dir="${DATA_DIR}"
   
   
    
    
    
  • 1
    • 
    
    
  • 2
    • 
    
    
  • 3
    • 
    
    
  • 4
    •

其会自动完成Flower数据集的准备工作. 比较特殊的是ImageNet数据集，官方也提供了教程，做下来发现还是有问题，后续提供解决方案

训练

可以从头开始训练（比如使用ImageNet）、加载预训练模型直接分类、网络微调三种. 官方直接提供脚本，很方便：

DATASET_DIR=/tmp/flowers
TRAIN_DIR=/tmp/flowers-models/inception_v3
CHECKPOINT_PATH=/tmp/my_checkpoints/inception_v3.ckpt
python train_image_classifier.py \
    --train_dir=${TRAIN_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=flowers \
    --dataset_split_name=train \
    --model_name=inception_v3 \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --checkpoint_exclude_scopes=InceptionV3/Logits,InceptionV3/AuxLogits \
    --trainable_scopes=InceptionV3/Logits,InceptionV3/AuxLogits
   
   
    
    
    
  • 1
    • 
    
    
  • 2
    • 
    
    
  • 3
    • 
    
    
  • 4
    • 
    
    
  • 5
    • 
    
    
  • 6
    • 
    
    
  • 7
    • 
    
    
  • 8
    • 
    
    
  • 9
    • 
    
    
  • 10
    • 
    
    
  • 11
    • 
    
    
  • 12
    •

以参数形式指定，很清晰

ImageNet数据集制作

从以上步骤来看，其实自动化程度已经很高了，按照教程指导问题应该不大，也并不是这篇博文的重点. 最近需要在ImageNet上训练一个Inception-ResNet-V2的变形版本，短平快的做法就是使用TF-Slim，在制作ImageNet数据集的时候按照官方指导出了问题，特此给出可行的解决方案，我的环境是Ubuntu 14.04 + CUDA8 + TF 1.0.1 + Python 2.7.

官方原版教程步骤：

  1. bazel编译相关脚本
  2. 直接执行download_and_preprocess_imagenet程序

看起来很简单，其实有坑，两点：
1. bazel编译失败（不知是否是环境问题）
2. ImageNet下载超慢（100多个GB的数据）

所以，比较可行的方法是，自己下载ImageNet-2012，然后来进行转换(TFRecord). 看看代码吧，找找问题，发现涉及如下三个脚本：

  • datasets/preprocess_imagenet_validation_data.py，处理val的数据
  • datasets/process_bounding_boxes.py，处理boundingbox数据
  • datasets/build_imagenet_data.py, 构建数据集主程序

进代码看看，首先是preprocess_imagenet_validation_data.py:

就是转换下格式，图片归类存放（后续需要）

之后是process_bounding_boxes.py:

将bounding box的坐标获得写成csv文件（后续需要合并成一个文件）

到主程序build_imagenet_data.py:

可以看到，训练集和验证集需要按照1000个子目录下包含图片的格式，现在基本就很明确处理步骤了：

  1. 将train 和 val 的数据按照文件夹分类
  2. 每个类的bounding box的CSV文件合并
  3. 指定参数运行build_imagenet_data.py

再说具体点：
原始的ImageNet-2012下载下来包含三个文件:

  • ILSVRC2012_bbox_train_v2.tar.gz
  • ILSVRC2012_img_val.tar
  • ILSVRC2012_img_train.tar

test的数据不公开，此处不包含test的数据.

bbox就是bounding box数据，另外两个是train 和 val 的数据（全是JPEG图片）

可以使用我的脚本一步完成:
假设数据存放在models/research/slim/ImageNet-ori目录下，TFRecord文件的输出目录是models/research/slim/ILSVRC2012/output，当前目录是models/research/slim

# 创建相关目录
mkdir -p ILSVRC2012  
mkdir -p ILSVRC2012/raw-data  
mkdir -p ILSVRC2012/raw-data/imagenet-data  
mkdir -p ILSVRC2012/raw-data/imagenet-data/bounding_boxes

# 做bounding box数据
tar -xvf ImageNet-ori/ILSVRC2012_bbox_train_v2.tar.gz -C ILSVRC2012/raw-data/imagenet-data/bounding_boxes/
python process_bounding_boxes.py ILSVRC2012/raw-data/imagenet-data/bounding_boxes/ imagenet_lsvrc_2015_synsets.txt | sort > ILSVRC2012/raw-data/imagenet_2012_bounding_boxes.csv

# 做验证集(解压时间久)
mkdir -p ILSVRC2012/raw-data/imagenet-data/validation/  
tar xf ILSVRC2012_img_val.tar -C ILSVRC2012/raw-data/imagenet-data/validation/
python preprocess_imagenet_validation_data.py ILSVRC2012/raw-data/imagenet-data/validation/ imagenet_2012_validation_synset_labels.txt

# 做训练集(解压时间更久，保持耐心!)
mkdir -p ILSVRC2012/raw-data/imagenet-data/train/
mv ImageNet-ori/ILSVRC2012_img_train.tar ILSVRC2012/raw-data/imagenet-data/train/ && cd ILSVRC2012/raw-data/imagenet-data/train/  
tar -xvf ILSVRC2012_img_train.tar && mv ILSVRC2012_img_train.tar ../../../ImageNet-ori/
find . -name "*.tar" | while read NAE ; do mkdir -p "${NAE%.tar}"</span>; tar -xvf <span class="hljs-string">"${NAE}" -C "${NAE%.tar}"</span>; rm -f <span class="hljs-string">"${NAE}"; done

# 执行准换
python build_imagenet_data.py --train_directory=ILSVRC2012/raw-data/imagenet-data/train --validation_directory=ILSVRC2012/raw-data/imagenet-data/validation --output_directory=ILSVRC2012/output --imagenet_metadata_file=imagenet_metadata.txt --labels_file=imagenet_lsvrc_2015_synsets.txt --bounding_box_file=ILSVRC2012/raw-data/imagenet_2012_bounding_boxes.csv
   
   
    
    
    
  • 1
    • 
    
    
  • 2
    • 
    
    
  • 3
    • 
    
    
  • 4
    • 
    
    
  • 5
    • 
    
    
  • 6
    • 
    
    
  • 7
    • 
    
    
  • 8
    • 
    
    
  • 9
    • 
    
    
  • 10
    • 
    
    
  • 11
    • 
    
    
  • 12
    • 
    
    
  • 13
    • 
    
    
  • 14
    • 
    
    
  • 15
    • 
    
    
  • 16
    • 
    
    
  • 17
    • 
    
    
  • 18
    • 
    
    
  • 19
    • 
    
    
  • 20
    • 
    
    
  • 21
    • 
    
    
  • 22
    • 
    
    
  • 23
    •

相关目录都是可改的，注意下路径就行了，我本机测试没问题.

参考博客
用tensorflow训练imagenet数据准备


版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Gavin__Zhou/article/details/80242998 
                                        <div class="markdown_views">
            <p>TF-Slim(tensorflow.contrib.slim)是TensorFlow的高层API，类似layers，主要可以用来快速的设计、评估模型，有着类似keras般的语法 <br>

Tensorflow models包含一个Slim的图像分类库，可以微调、训练、使用预训练模型来对图像进行分类，包含的主要CNN网络有:

  • Inception V1/2/3/4
  • Inception-ResNet-V2
  • ResNet 50/101/152
  • VGG 16/19
  • MobileNet V1/2
  • NASNet/PNASNet

项目地址: https://github.com/tensorflow/models/tree/master/research/slim

如何使用

很简单，三部曲就可以：

  1. 安装models
  2. 准备数据集
  3. 训练/微调/直接使用

文档已经写的很清楚了，照着做基本是没问题的，以下步骤来自文档教程：

安装

  1. 安装TensorFlow (>1.0)
  2. 克隆models（https://github.com/tensorflow/models/）

准备数据集

官方提供四种数据集：
Flowers、CIFAR-10、MNIST、ImageNet-2012
前三个数据集数据量小，直接调用相关脚本自动会完成下载、转换（TFRecord格式）的过程，类似：

DATA_DIR=/tmp/data/flowers
python download_and_convert_data.py \
    --dataset_name=flowers \
    --dataset_dir="${DATA_DIR}"
 
 
    
  
  
  • 1
    • 
  
  
  • 2
    • 
  
  
  • 3
    • 
  
  
  • 4
    •

其会自动完成Flower数据集的准备工作. 比较特殊的是ImageNet数据集，官方也提供了教程，做下来发现还是有问题，后续提供解决方案

训练

可以从头开始训练（比如使用ImageNet）、加载预训练模型直接分类、网络微调三种. 官方直接提供脚本，很方便：

DATASET_DIR=/tmp/flowers
TRAIN_DIR=/tmp/flowers-models/inception_v3
CHECKPOINT_PATH=/tmp/my_checkpoints/inception_v3.ckpt
python train_image_classifier.py \
    --train_dir=${TRAIN_DIR} \
    --dataset_dir=${DATASET_DIR} \
    --dataset_name=flowers \
    --dataset_split_name=train \
    --model_name=inception_v3 \
    --checkpoint_path=${CHECKPOINT_PATH} \
    --checkpoint_exclude_scopes=InceptionV3/Logits,InceptionV3/AuxLogits \
    --trainable_scopes=InceptionV3/Logits,InceptionV3/AuxLogits
 
 
    
  
  
  • 1
    • 
  
  
  • 2
    • 
  
  
  • 3
    • 
  
  
  • 4
    • 
  
  
  • 5
    • 
  
  
  • 6
    • 
  
  
  • 7
    • 
  
  
  • 8
    • 
  
  
  • 9
    • 
  
  
  • 10
    • 
  
  
  • 11
    • 
  
  
  • 12
    •

以参数形式指定，很清晰

ImageNet数据集制作

从以上步骤来看，其实自动化程度已经很高了，按照教程指导问题应该不大，也并不是这篇博文的重点. 最近需要在ImageNet上训练一个Inception-ResNet-V2的变形版本，短平快的做法就是使用TF-Slim，在制作ImageNet数据集的时候按照官方指导出了问题，特此给出可行的解决方案，我的环境是Ubuntu 14.04 + CUDA8 + TF 1.0.1 + Python 2.7.

官方原版教程步骤：

  1. bazel编译相关脚本
  2. 直接执行download_and_preprocess_imagenet程序

看起来很简单，其实有坑，两点：
1. bazel编译失败（不知是否是环境问题）
2. ImageNet下载超慢（100多个GB的数据）

所以，比较可行的方法是，自己下载ImageNet-2012，然后来进行转换(TFRecord). 看看代码吧，找找问题，发现涉及如下三个脚本：

  • datasets/preprocess_imagenet_validation_data.py，处理val的数据
  • datasets/process_bounding_boxes.py，处理boundingbox数据
  • datasets/build_imagenet_data.py, 构建数据集主程序

进代码看看，首先是preprocess_imagenet_validation_data.py:

就是转换下格式，图片归类存放（后续需要）

之后是process_bounding_boxes.py:

将bounding box的坐标获得写成csv文件（后续需要合并成一个文件）

到主程序build_imagenet_data.py:

可以看到，训练集和验证集需要按照1000个子目录下包含图片的格式，现在基本就很明确处理步骤了：

  1. 将train 和 val 的数据按照文件夹分类
  2. 每个类的bounding box的CSV文件合并
  3. 指定参数运行build_imagenet_data.py

再说具体点：
原始的ImageNet-2012下载下来包含三个文件:

  • ILSVRC2012_bbox_train_v2.tar.gz
  • ILSVRC2012_img_val.tar
  • ILSVRC2012_img_train.tar

test的数据不公开，此处不包含test的数据.

bbox就是bounding box数据，另外两个是train 和 val 的数据（全是JPEG图片）

可以使用我的脚本一步完成:
假设数据存放在models/research/slim/ImageNet-ori目录下，TFRecord文件的输出目录是models/research/slim/ILSVRC2012/output，当前目录是models/research/slim

# 创建相关目录
mkdir -p ILSVRC2012  
mkdir -p ILSVRC2012/raw-data  
mkdir -p ILSVRC2012/raw-data/imagenet-data  
mkdir -p ILSVRC2012/raw-data/imagenet-data/bounding_boxes

# 做bounding box数据
tar -xvf ImageNet-ori/ILSVRC2012_bbox_train_v2.tar.gz -C ILSVRC2012/raw-data/imagenet-data/bounding_boxes/
python process_bounding_boxes.py ILSVRC2012/raw-data/imagenet-data/bounding_boxes/ imagenet_lsvrc_2015_synsets.txt | sort > ILSVRC2012/raw-data/imagenet_2012_bounding_boxes.csv

# 做验证集(解压时间久)
mkdir -p ILSVRC2012/raw-data/imagenet-data/validation/  
tar xf ILSVRC2012_img_val.tar -C ILSVRC2012/raw-data/imagenet-data/validation/
python preprocess_imagenet_validation_data.py ILSVRC2012/raw-data/imagenet-data/validation/ imagenet_2012_validation_synset_labels.txt

# 做训练集(解压时间更久，保持耐心!)
mkdir -p ILSVRC2012/raw-data/imagenet-data/train/
mv ImageNet-ori/ILSVRC2012_img_train.tar ILSVRC2012/raw-data/imagenet-data/train/ && cd ILSVRC2012/raw-data/imagenet-data/train/  
tar -xvf ILSVRC2012_img_train.tar && mv ILSVRC2012_img_train.tar ../../../ImageNet-ori/
find . -name "*.tar" | while read NAE ; do mkdir -p "${NAE%.tar}"</span>; tar -xvf <span class="hljs-string">"${NAE}" -C "${NAE%.tar}"</span>; rm -f <span class="hljs-string">"${NAE}"; done

# 执行准换
python build_imagenet_data.py --train_directory=ILSVRC2012/raw-data/imagenet-data/train --validation_directory=ILSVRC2012/raw-data/imagenet-data/validation --output_directory=ILSVRC2012/output --imagenet_metadata_file=imagenet_metadata.txt --labels_file=imagenet_lsvrc_2015_synsets.txt --bounding_box_file=ILSVRC2012/raw-data/imagenet_2012_bounding_boxes.csv
 
 
    
  
  
  • 1
    • 
  
  
  • 2
    • 
  
  
  • 3
    • 
  
  
  • 4
    • 
  
  
  • 5
    • 
  
  
  • 6
    • 
  
  
  • 7
    • 
  
  
  • 8
    • 
  
  
  • 9
    • 
  
  
  • 10
    • 
  
  
  • 11
    • 
  
  
  • 12
    • 
  
  
  • 13
    • 
  
  
  • 14
    • 
  
  
  • 15
    • 
  
  
  • 16
    • 
  
  
  • 17
    • 
  
  
  • 18
    • 
  
  
  • 19
    • 
  
  
  • 20
    • 
  
  
  • 21
    • 
  
  
  • 22
    • 
  
  
  • 23
    •

相关目录都是可改的，注意下路径就行了，我本机测试没问题.

参考博客
用tensorflow训练imagenet数据准备

猜你喜欢

转载自blog.csdn.net/intjun/article/details/82620714
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022