技术标签: detection tensorflow deep-learning Deep Learning object
将object_detection_api安装好以后,我们可以使用其进行transfer learning从而实现对新检测应用的快速学习,当然也可以使用训练好的模型进行预测。以下分别讲如何使用现有模型进行预测以及在训练好的模型基础上使用新数据集学习新的模型。
官网提供了在linux下使用的说明,这里说明如何在windows下进行使用,笔者在win7下进行了测试并运行成功。
运行object_detection模型下的object_detection_tutorial.ipynb
可以使用ssd_mobilenet_v1模型进行预测。将该notebook中的MODEL_NAME = 'faster_rcnn_resnet101_coco_2018_01_28'
进行更改即可使用不同的模型进行预测。注意若当前文件夹下若存放相应模型文件,该代码会自动在当前路径下下载模型文件。
Running the Training Job
A local training job can be run with the following command:
# From the tensorflow/models/research/ directory
python object_detection/train.py \
--logtostderr \
--pipeline_config_path=${PATH_TO_YOUR_PIPELINE_CONFIG} \
--train_dir=${PATH_TO_TRAIN_DIR}
where ${PATH_TO_YOUR_PIPELINE_CONFIG} points to the pipeline config and ${PATH_TO_TRAIN_DIR} points to the directory in which training checkpoints and events will be written to. By default, the training job will run indefinitely until the user kills it.
按照官网说明,只需找到对应模型的pipeline写好即可。
在detection_model_zoo中包含了很多预训练模型。
为了使用这些模型,我们需要依次准备以下内容:准备数据,设置object detection pipeline。
数据准备可以参考原github中的说明。该网站中也提供了各种公开数据集的下载地址。这里使用的数据是2012 PASCAL VOC data set。准备数据的过程中的输入为原始数据的解压文件夹,输出为两个.tfrecord文件。使用的代码为create_pascal_tf_record.py
(其目录为object_detection/dataset_tools/create_pascal_tf_record.py)
运行命令如下:
python ./dataset_tools/create_pascal_tf_record.py \
--data_dir=./data/VOCdevkit \
--year=VOC2012 \
--set=train \
--label_map_path=./data/pascal_label_map.pbtxt \
--output_path=./data/pascal_train.record
对应的文件结构如下:
--object_detection
|-- dataset_tools
| |-- create_pascal_tf_record.py
|-- data
| |-- VOCdevkit
| |-- pascal_label_map.pbtxt
|
代码运行后会在object_detection/data
目录下生成pascal_train.record
和pascal_cal.record
两个文件。之后我们使用这两个文件作为数据输入即可。
在pre-trained模型下载下来后,其内会包含一个.config
的文件,我们将其复制一下,改名为faster_rcnn_resnet101_voc.config
,之后打开该文件,将PATH_TO_BE_CONFIGURED
的路径修改为自己存储的路径。如我将文件以如下结构存放:
--object_detection
|
|--demo_VOC2012
| |
| |--faster_rcnn_resnet101_voc.config
| |
| |--model.ckpt
| |
| |--pascal_train.record
| |--pascal_val.record
| |--pascal_label_map.pbtxt
可将其内代码改为fine_tune_checkpoint: "./demo_VOC2012/model.ckpt"
,input_path: "./demo_VOC2012/pascal_train.record"
, label_map_path: "./demo_VOC2012/pascal_label_map.pbtxt".
其他代码保持不变即可。
模型训练运行以下代码即可:
python train.py --logtostderr --pipeline_config_path=./demo_VOC2012/faster_rcnn_resnet101_voc.config --train_dir=./demo_VOC2012/train
由于object_detection_API官方教程在linux下运行,加之其仍在测试阶段,所以可能会有一些bug和错误出现,这里列举一些我遇到的问题和解决方法。
failed: tried to convert ‘t’ to a tensor. Argument must be a dense tensor range (0, 3) got shape [3], but wanted []
这个问题出在learning_schedule.py文件。需找到安装api时的目录下的learning_schedule.py,将
rate_index = tf.reduce_max(tf.where(tf.greater_equal(global_step, boundaries),
range(num_boundaries),
[0] * num_boundaries))
rate_index = tf.reduce_max(tf.where(tf.greater_equal(global_step, boundaries),
list(range(num_boundaries)),
[0] * num_boundaries))
方法来源:github_issue
DataLossError: Unable to open table file Input/output Error
这个问题是model restore的问题,由于新的模型存储从.ckpt变为存储为三个.ckpt文件,所以将fine_tune_checkpoints=设置为三个文件所在文件夹/model.ckpt即可。
No module named ‘pycocotools’
这个应该是由于cocoAPI没有安装的问题,但是官网仅仅提供了linux下安装的方法,win7下的安装目前我仍未成功。
参考github-issue和github-issue,我从philferriere-github中下载了cocoapi-master
,解压后分别运行
python setup.py build_ext --inplace
python setup.py build_ext install
(即makefile中的命令). 执行后没报错,且eval.py运行不再报上述问题了。
为了可以在api中使用自己生成的数据,与PASCAL VOC处理方法相似,我们需将数据文件夹转为tfrecord。相似地,我们采用相同的数据存放结构,我们将自己的数据以如下文件结构存放:
--data
|--label_map.pbtxt
|--VOC2007
| |--Annotations
| |--ImageSets
| | |--Main
| | | |--train.txt
| |--JPEGImages
--create_xx_tf_record.py
其中annotations
文件夹中存放标注文件(以xml格式文件存放),
JPEGImages
文件夹中存放原图(以jpg格式存放),而label_map.pbtxt
文件需自己来写,其内以字典形式存放不同的label类别(分类名称对应的整型分类),如:
item {
id: 1
name: cat
}
item {
id: 2
name: dog
}
这些文件都可以参考PASCAL VOC的示例来写。
将create_pascal_tf_record.py
(在object_detection/dataset_tool目录下)复制到与data
文件夹同目录下,这里我重命名为create_xx_tf_record.py
。我们需要对其相关参数进行修改使其与自己的数据相匹配。如下:
data_dir 设为 ./data
label_map_path 设为 ./data/label_map.pbtxt
output_path 设为 ./data/xx_train.tfrecord
# 注释下列几个不用的语句
# difficult_obj.append(int(difficult))
# truncated.append(int(obj['truncated']))
# poses.append(obj['pose'].encode('utf8'))
# 'image/object/difficult': dataset_util.int64_list_feature(difficult_obj),
# 'image/object/truncated': dataset_util.int64_list_feature(truncated),
# 'image/object/view': dataset_util.bytes_list_feature(poses),
# 若xml中未设置图像的width和height,则将
width = int(data['size']['width'])
height = int(data['size']['height'])
改为 width, height = image.size
# 修改main函数中image path
examples_path = os.path.join(data_dir, year, 'ImageSets', 'Main',
'train' + '.txt')
# 调试时一定要确保dict_to_tf_example()函数中full_path和主函数中的data都读取正确。
# 生成各文件时需保证.jpg和.xml一一对应,且和.pbtxt中的一致。
将以上改动设置好以后,运行create.py则可在output_path中生成tfrecord文件。
在create_xx_tf_record.py
中img_path
变量的设置中用到了xml
中的folder
标签值(data[‘folder’]),因此需将xml
中folder标签值改为image存放路径:VOC2007
。该问题使用以下代码运行即可。
from xml.etree.ElementTree import parse, Element
import os
filepath = './xml'
xml_files = os.listdir(filepath)
for xml_file in xml_files:
print("now {} is being processed".format(xml_file))
xml_path = os.path.join(filepath, xml_file)
doc = parse(xml_path)
root = doc.getroot()
# # Remove a few elements
# root.remove(root.find('sri'))
# root.remove(root.find('cr'))
# # Insert a new element after <nm>...</nm>
# root.getchildren().index(root.find('nm'))
#
# e = Element('spam')
# e.text = 'This is a test'
# root.insert(2, e)
folder = root.find('folder') # folder是<>中的值
folder.text = 'VOC2007' # text是<><>之间的值
# Write back to a file
# doc.write(xml_file, xml_declaration=True)
doc.write(xml_file)
同样的,需在预训练模型的config文件基础上进行修改。主要修改以下参数:
参考上篇总结,进行相似存放即可。训练时运行
python train.py --logtostderr --pipeline_config_path=./demo_XX/faster_rcnn_resnet101_xx.config --train_dir=./demo_XX/train
eval时运行
python eval.py --logtostderr --pipeline_config_path=./demo_VOC2012/faster_rcnn_resnet101_xx.config --checkpoint_dir=./demo_xx/train --eval_dir=./demo_xx/eval
即可。
预测使用的代码是从object_detection_tutorial复制改写得到的,改名为demo_faster_rcnn_resnet101_xx.py。需要修改其中以下内容:
PATH_TO_CKPT = "./demo_XX/output/frozen_inference_graph.pb" # .pb文件存储训练好的模型
PATH_TO_LABELS = './demo_XX/xx_label_map.pbtxt'
num_classes = 4
PATH_TO_TEST_IMAGE_DIR = 'test_images'
TEST_IMAGE_PATHS = [ os.path.join(PATH_TO_TEST_IMAGES_DIR, '00000{}.jpg'.format(i)) for i in range(1, 10) ]
其文件结构如下:
object detection
|
|--test_images
|--demo_XX
| |
| |--train
| |--output
| | |
| | |--frozen_inference_graph.pb
| |--xx_label_map.pbtxt
|--export_inference_graph.py
|--demo_faster_rcnn_resnet101_xx.py
执行时需先将训练好的模型转为.pb格式文件(过程后述),然后在test_images文件夹中存放测试图像,同时测试数据的名称要以列表形式存放在TEST_IMAGE_PATHS中。准备妥当以后,运行
python demo_faster_rcnn_resnet101_xx.py
即可进行预测。
同样在/object detection
文件夹中,export_inference_graph.py
可以完成这个功能。运行该脚本只需将原始ckpt.meta所在文件夹目录
, 输出目录
, 以及pipeline目录
设置好即可。如执行以下命令:
python export_inference_graph.py --input_type image_tensor --pipeline_config_path ./demo_XX/faster_rcnn_resnet101_xx.config --trained_checkpoint_prefix ./demo_XX/train/model.ckpt-83082 --output_directory ./demo_XX/output
生成数据
|--create_xx_tf_record.py
|
|--data
| |--VOC2007
| | |--Annotations
| | | |--xml文件
| | |--ImageSets
| | | |--Main
| | | | |--txt文件
| | |--JPEGImages
| | | |--jpg文件
完成训练
object_detection
|
|--demo_xx (存放某个应用/数据训练的结果)
| |
| |--train(训练model目录)
| |--faster_rcnn_resnet101_xx.config (预训练模型config,设置模型超参数)
| |--model.ckpt(三个)
| |--train.record
| |--val.record
| |--.pbtxt(数据label标注文件)
完成测试(或完成eval)
object detection
|
|--test_images (存放测试数据集图像)
|--demo_XX (存放某个应用/数据训练的结果)
| |
| |--train(训练好的model目录)
| |--output
| | |
| | |--frozen_inference_graph.pb(训练好转存为.pb文件)
| |--xx_label_map.pbtxt
|--export_inference_graph.py
|--demo_faster_rcnn_resnet101_xx.py
整个文件结构(注意生成数据可以不依赖object detection库,可以在单独的文件夹下执行)
object detection
|
|--dataset tools
| |--create_xx_tf_record.py
| |
| |--data
| | |--VOC2007
| | | |--Annotations
| | | | |--xml文件
| | | |--ImageSets
| | | | |--Main
| | | | | |--txt文件
| | | |--JPEGImages
| | | | |--jpg文件
|
|--demo_xx (存放某个应用/数据训练的结果)
| |
| |--train(训练model目录)
| |--output
| | |--frozen_inference_graph.pb(训练好转存为.pb文件)
| |--faster_rcnn_resnet101_xx.config (预训练模型config,设置模型超参数)
| |--model.ckpt(三个)
| |--train.record
| |--val.record
| |--.pbtxt(数据label标注文件)
|--test_images (存放测试数据集图像)
|--export_inference_graph.py(用于将.ckpt文件转化为.pb)
|--demo_faster_rcnn_resnet101_xx.py(用于预测test)
文章浏览阅读3.4k次,点赞8次,收藏42次。一、什么是内部类?or 内部类的概念内部类是定义在另一个类中的类;下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类?or 内部类有什么作用?1、 内部类方法可以访问该类定义所在的作用域中的数据,包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时,使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起,当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器,有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1:数据表处理应用函数:①VLOOKUP函数; ② CONCATENATE函数终表:step2:数据透视表统计分析(1) 透视表汇总不同渠道用户数, 金额(2)透视表汇总不同日期购买用户数,金额(3)透视表汇总不同用户购买订单数,金额step3:讲第二步结果可视化, 比如, 柱形图(1)不同渠道用户数, 金额(2)不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行,帮助IT运维人员提高工作效率。通俗来说,就是用来控制哪些人可以登录哪些资产(事先防范和事中控制),以及录像记录登录资产后做了什么事情(事后溯源)。由于堡垒机内部保存着企业所有的设备资产和权限关系,是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患:密码设置过于简单,容易被暴力破解;为方便记忆,设置统一的密码,一旦单点被破,极易引发全面危机。在单一的静态密码验证机制下,登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次,点赞4次,收藏16次。Chrome作为一款挺不错的浏览器,其有着诸多的优良特性,并且支持跨平台。其支持(Windows、Linux、Mac OS X、BSD、Android),在绝大多数情况下,其的安装都很简单,但有时会由于网络原因,无法安装,所以在这里总结下Chrome的安装。Windows下的安装:在线安装:离线安装:Linux下的安装:在线安装:离线安装:..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新,但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源,上海是“摩登”的国际化大都市,广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应,只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码,自己完成底层外设驱动开发后,集成即可使用,代码精简高效,大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次,点赞20次,收藏148次。AUTOSAR基础篇之OS(下)前言首先,请问大家几个小小的问题,你清楚:你知道多核OS在什么场景下使用吗?多核系统OS又是如何协同启动或者关闭的呢?AUTOSAR OS存在哪些功能安全等方面的要求呢?多核OS之间的启动关闭与单核相比又存在哪些异同呢?。。。。。。今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的主题大纲:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次,点赞6次,收藏14次。原因:自己写的头文件没有被加入到方案的包含目录中去,无法被检索到,也就无法打开。将自己写的头文件都放入header files。然后在VS界面上,右键方案名,点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次,点赞80次,收藏342次。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。当数据量很大时,count 的数量的指定可能会不起作用,Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次,点赞3次,收藏3次。URP的设计目标是在保持高性能的同时,提供更多的渲染功能和自定义选项。与普通项目相比,会多出Presets文件夹,里面包含着一些设置,包括本色,声音,法线,贴图等设置。全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,主光源和附加光源在一次Pass中可以一起着色。URP:全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,一次Pass可以计算多个光源。可编程渲染管线:渲染策略是可以供程序员定制的,可以定制的有:光照计算和光源,深度测试,摄像机光照烘焙,后期处理策略等等。_urp渲染管线