从零开始基于imagenet 1k数据集训练CNN分类模型"/>
从零开始基于imagenet 1k数据集训练CNN分类模型
ImageNet 1k数据集简介
ImageNet是CV领域非常出名的数据集, 其中ISLVRC2012数据集是Large Scale Visual Recognition Challenge 2012所用的数据集,包括:
- 训练数据集ILSVRC2012_img_test.tar,里面包括1000类共计1,281,167张图片,大约138G
- 验证数据集ILSVRC2012_img_val.tar,里面包括1000类每类50张图片,一共50000张图片,大约6.3G
由于ISLVRC2012有1000类数据,所以很多论文把这个数据集叫做:ImageNet 1K。行业里面渐渐约定俗成用这个数据集来测试模型结构,或者从零开始训练一个全新的CNN主干网络(backbone)。
ImageNet的评价指标是固定的:top1 acc 和 top5 acc。基于ImageNet 1K训练的模型,很容易跟已发表的模型比较,看看性能是否有提高,例如
下载并解压ImageNet 1k数据集
第一步,下载ILSVRC2012_img_test.tar和ILSVRC2012_img_val.tar
# parent
# ├── yolov5
# └── datasets
# └── imagenet ← downloads here
下载后的结果如下所示:
第二步,解压ImageNet 1k数据集:创建解压批处理文件:unpack_imagenet.sh
train=true
val=true
# Download/unzip train
if [ "$train" == "true" ]; then#wget .tar # download 138G, 1281167 imagesmkdir train && mv ILSVRC2012_img_train.tar train/ && cd traintar -xf ILSVRC2012_img_train.tar && rm -f ILSVRC2012_img_train.tarfind . -name "*.tar" | while read NAME; domkdir -p "${NAME%.tar}"tar -xf "${NAME}" -C "${NAME%.tar}"rm -f "${NAME}"donecd ..
fi# Download/unzip val
if [ "$val" == "true" ]; then#wget .tar # download 6.3G, 50000 imagesmkdir val && mv ILSVRC2012_img_val.tar val/ && cd val && tar -xf ILSVRC2012_img_val.tarwget -qO- .torch/master/valprep.sh | bash # move into subdirs
fi
并在MINGW64中运行:
从上图可见,好的SDD,可以极大缩短解压时间;HDD真的是太慢了,整个解压工作大约耗时5个小时。
在ImageNet 1k数据集上训练模型
克隆YOLOv5并安装其依赖软件包:
git clone # clone
cd yolov5
pip install -r requirements.txt # install
先运行命令:
python classify/val.py --weights yolov5m-cls.pt --data …/datasets/imagenet --img 224
若得下面的结果,则证明ImageNet 1k数据集下载解压和YOLOv5运行环境配置已完成!
然后运行命令,启动训练:
python classify/train.py --model yolov5s-cls.pt --data imagenet --img 224 --batch-size 32
到此,基于imagenet 1k数据集训练CNN分类模型完毕!下一篇文章将继续介绍如何搭建一个CNN分类模型训练框架,方便快速测试各种模型结构!
更多推荐
从零开始基于imagenet 1k数据集训练CNN分类模型
发布评论