技术标签: 自有数据集 目标检测 Tensorflow+Keras keras 图像识别 yolov3
qqwweee/keras-yolo3是最简单的自数据训练yolov3的开源项目了。非常简单,相比其他的开源项目,太适合新手练习yolov3。
而公开的很多开源框架的都是基于VOC/COCO来写预训练,整理数据起麻烦不少。
本来笔者看到mxnet/gluoncv有yolov3的自训练,而且Mxnet还进行一定改进把精度提升了不少,还欢欣鼓舞的去尝试,但是一旦遇到坑,基本没法解决。。社区人太少,搜不到前人的经验,报错信息稀奇古怪,定位到报错code较难,留言给社区也一时半会儿没人回,还真是从入门到放弃。。
在此之上进行一些微调,我的项目地址:keras-yolo3-improved
其中,
最简单是因为把数据整理成以下的样子就可以开始训练:
path/to/img1.jpg 50,100,150,200,0 30,50,200,120,3
path/to/img2.jpg 120,300,250,600,2
...
也就是:地址,xmin,ymin,xmax,ymax,类别ID然后空格下一个box,每张图一行。
例子:
images/images_all/86900fb6gy1fl4822o7qmj22ao328qv7.jpg 10,259,399,580,27
images/images_all/b95fe9cbgw1eyw88vlifjj20c70hsq46.jpg 10,353,439,640,29
images/images_all/005CsCZ0jw1f1n8kcj8m1j30ku0kumz6.jpg 75,141,343,321,27
keras源码中有两段训练:
笔者自己的训练数据集是专业领域的图像,所以基本第一阶段的迁移学习阶段没啥用,因为与原有的yolov3训练集差异太大,如果你也是,请直接开始第二段或者重新根据darknet53训练。
那么这边就有三样可能需要预下载的模型:
python convert.py -w yolov3.cfg yolov3.weights model_data/yolo_weights.h5
wget https://pjreddie.com/media/files/darknet53.conv.74
python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5
来看看训练时候需要的参数:
class yolo_args:
annotation_path = 'train.txt'
log_dir = 'logs/003/'
classes_path = 'model_data/class_file_en.txt'
anchors_path = 'model_data/yolo_anchors.txt'
input_shape = (416,416) # multiple of 32, hw
# 608*608 416*416 320*320
val_split = 0.1
batch_size = 16
epochs_stage_1 = 10
stage_1_train = False
epochs_finally = 100
finally_train = True
weights_path = 'logs/003/ep009-loss33.297-val_loss32.851.h5'# 可以使用'model_data/tiny_yolo_weights.h5' 也可以使用tiny_yolo的:'model_data/yolo_weights.h5'
# train
_main(yolo_args)
annotation_path就是数据集准备的txt
log_dir ,Model存放地址,譬如:events.out.tfevents.1545966202
、ep077-loss19.318-val_loss19.682.h5
classes_path ,分类内容
anchors_path ,yolo anchors,可自行调整,也可以使用默认的
input_shape ,一般是416
epochs_stage_1 = 10
和 stage_1_train = False
,是同一个,也就是是否进行迁移学习(stage_1_train
),要学习的话,学习几个epoch(epochs_stage_1
)
epochs_finally = 100
和 finally_train = True
,是,是否进行后面开放所有层的学习(finally_train
),学习几个epoch(epochs_finally
)
weights_path ,调用model的路径
这里需要注意:
如果要在之前训练基础上,追加训练,一般要把batch_size设置小一些,然后加载之前的权重。
来看一个简单的预测
import sys
import argparse
from yolo import YOLO, detect_video
from PIL import Image
yolo_test_args = {
"model_path": 'model_data/yolo.h5',
"anchors_path": 'model_data/yolo_anchors.txt',
"classes_path": 'model_data/coco_classes.txt',
"score" : 0.3,
"iou" : 0.45,
"model_image_size" : (416, 416),
"gpu_num" : 1,
}
yolo_test = YOLO(**yolo_test_args)
image = Image.open('images/part1/path1.jpg')
r_image = yolo_test.detect_image(image)
r_image.show()
直接返回的是带框的图片,如果你要输出boxes,可以自己改一下detect_image
函数。
此时注意以下:out_boxes, out_scores, out_classes
中out_boxes,每个Boxes代表的是:y_min, x_min, y_max, x_max
在此之上,进行预测结果优化,可参考:yolo_matt.py
:
import sys
import argparse
from yolo_matt import YOLO, detect_video
from PIL import Image
yolo_test_args = {
"model_path": 'logs/003/ep077-loss19.318-val_loss19.682.h5',
"anchors_path": 'model_data/yolo_anchors.txt',
"classes_path": 'model_data/class_file_en.txt',
"score" : 0.2,# 0.2
"iou" : 0.1,# 0.45
"model_image_size" : (416, 416),
"gpu_num" : 1,
}
yolo_test = YOLO(**yolo_test_args)
# 输出内容整理
def _get_class(classes_path):
classes_path = os.path.expanduser(classes_path)
with open(classes_path) as f:
class_names = f.readlines()
class_names = [c.strip() for c in class_names]
return class_names
def yolov3_output(image,out_boxes,out_scores,out_classes):
output = []
yolo_classes = _get_class(yolo_test_args['classes_path'])
for n,box in enumerate(out_boxes):
y_min, x_min, y_max, x_max = box
y_min = max(0, np.floor(y_min + 0.5).astype('int32'))
x_min = max(0, np.floor(x_min + 0.5).astype('int32'))
y_max = min(image.size[1], np.floor(y_max + 0.5).astype('int32'))
x_max = min(image.size[0], np.floor(x_max + 0.5).astype('int32'))
score = out_scores[n]
yo_class = yolo_classes[out_classes[n]]
output.append({ 'y_min':y_min, 'x_min':x_min, 'y_max':y_max, 'x_max':x_max,\
'width':image.size[0],'height':image.size[1],\
'score':score,'yo_class':yo_class})
return output
image = Image.open('images/images_all/path1.jpg')
r_image,out_boxes, out_scores, out_classes = yolo_test.detect_image(image)
output = yolov3_output(r_image,out_boxes,out_scores,out_classes)
输出结果类似:
{
'path1.jpg':
[{'y_min': 416, 'x_min': 34, 'y_max': 754, 'x_max': 367, 'width': 440, 'height': 783, 'score': 0.9224778, 'yo_class': 'class1'},
{'y_min': 428, 'x_min': 3, 'y_max': 783, 'x_max': 352, 'width': 440, 'height': 783, 'score': 0.2180994, 'yo_class': 'class2'}]
}
文章浏览阅读2.4w次,点赞6次,收藏18次。系统:Manjaro 20.0.3桌面:Gnome安装软件时出现错误:无法从 mirrors.ustc.edu.cn : Operation timed out after 10001 milliseconds with 0 out of 0 bytes received 获取文件 'archlinuxcn.db'错误:无法升级 archlinuxcn (下载数据库出错)错误:无法从 lonewolf-builder.duckdns.org : Recv failure: 连接被对方重设 获取._archlinuxcn.db下载失败
文章浏览阅读2.9k次,点赞4次,收藏35次。源/头条 文 /程序员界的彭于晏面试时7分靠能力,3分靠技能,而刚开始时的介绍项目又是技能中的重中之重,决定一次面试的成败,那么面试时如果要介绍自己的项目该..._技术面如何将自己做的项目
文章浏览阅读3.7w次,点赞16次,收藏100次。git生成ssh密钥详细步骤 git如何生成ssh密钥_gitssh密钥生成
文章浏览阅读687次。目前苹果基本暂停了新号注册,但今天开始市场会流入大量欧洲国家残留下的号到中国!全是虚假资质注册,使用超不过一个月100%会封号,(群里之前曝光的俄罗斯人所为,目前已下榻深圳某酒店甩卖)!苹果目前严厉查封虚假资质账号,未满14天也会被封的可能,哪怕不买,也不能趁虚而入被坑!熬过了这段时间,以后自然会有新的资质没问题账号下来! 个人 公司账号 查的同时 又把矛头指向了 企业账号?就在刚刚,..._app store 频繁封号
文章浏览阅读127次。相机是 3D 可视化中的主要查看工具。它们被放置在世界上并以独特的方式命名。场景中可以存在多个摄像机,每个摄像机都连接到单独的视口(窗口)以向用户显示场景。相机可以查看固定目标,跟随路径,或直接由触觉设备控制(例如模拟内窥镜)。本章探讨使用摄像机并将其连接到窗口显示或视口的基本过程。世界内的摄像机指向场景。近剪裁平面和远剪裁平面定义摄像机渲染的区域。_chai3d示例
文章浏览阅读5k次,点赞8次,收藏36次。遇到一个需求,需要修改文件中的内容,查找资料发现如下工具类:原链接:点击打开链接/** * 修改文件内容 * * @param fileName * @param oldstr * @param newStr * @return */ private static boolean modifyFileContent(String fileName, String o..._java 修改文件
文章浏览阅读3.6k次,点赞132次,收藏98次。【哈士奇赠书活动 - 24期】-〖前端工程化:基于Vue.js 3.0的设计与实践〗_程沛权 博客
文章浏览阅读226次。Git克隆项目克隆项目代码git clone ssh地址若出现密钥问题The authenticity of host 'git.dev.tencent.com (118.25.166.124)' can't be established.RSA key fingerprint is SHA256:jok3FH7q5LJ6qvE7iPNehBgXRw51ErE77S0Dn+Vg/I..._rsa key fingerprint is sha256:jok3fh7q5lj6qve7ipnehbgxrw51ere77s0dn+vg/ik. a
文章浏览阅读3.4w次,点赞2次,收藏29次。前一阵研究强化学习,发现中文的资料非常少,实例就更少。于是翻译一篇q学习算法的教程,供需要的人学习。原文链接:http://mnemstudio.org/path-finding-q-learning-tutorial.htm正文:Q学习算法是一种用来解决马尔可夫决策过程中最优化问题的方法。Q学习算法最大的特点是它具有选择瞬时奖励和延迟奖励的能力。在每一步中,agent通过观察状态_强化学习教程
文章浏览阅读3.8k次。1 赛题描述在真实的社交网络中,存在的作弊用户会影响社交网络平台。在真实场景中,会受到多方面的约束,我们仅能获取到少部分的作弊样本和一部分正常用户样本,现需利用已有的少量带标签的样本,去挖掘大量未知样本中的剩余作弊样本。给定一段时间内的样本,其中包含少量作弊样本,部分正常样本以及标签未知的样本。参赛者应该利用这段时间内已有的数据,提出自己的解决方案,以预测标签未知的样本是否为作弊样本。数据处理方法和算法不限,但是参赛者需要综合考虑算法的效果和复杂度,从而构建合理的解决方案。2 题目思路基于给定的少_小样本赛题数据
文章浏览阅读278次。vuex的作用是用来状态共享的,state中定义数据,但如果需要对数据进行一定的处理,比如说state中有一个数组,但我们需要显示该数组中某些符合特定要求的值,而这些特定的数据需要在多个组件中shi'yong..._vuex调用字仓库方法
文章浏览阅读510次。List listWithDup = new ArrayList(); listWithDup.add(1); listWithDup.add(2); listWithDup.add(3); listWithDup.add(1); listWithDup.add(3); List listWithout_列表去重吗