本片是截图的篇的升级版本，简单版本的截图请参考根据目标框外扩一定比例进行截图（连带标签）。
对目标框（类别名称）进行分类，将同一类的目标框进行截图并分类保存在不同的文件夹中。
- 在本篇当中，我关注的是对人的不同部位的检测，所以我分为4类部件：头部区域（头、帽子、眼睛、眼睛……）、身体区域（各种工服）、手部区域（手、手套）、脚部区域（靴子、雨鞋、没穿鞋）。
- 而截图方式也是跟简单篇一样，保留截图区域内的目标框。
特别说明，每类部件只会截部件范围的大图，例如头部区域内的眼睛、眼镜之类的不会单独截那么小的图，没有太多的意义，只会对头部帽子等的目标框进行截图，保留其内的眼睛、眼镜等。 - 这里相对于简单篇升级的不仅是从一类的截图升级到部件的截图，还有外扩范围也从上下左右外扩固定范围到根据图片大小按比例外扩。本篇的升级版是按随机比例外扩。
python">'''
cut 4 part in [head, body, hand, foot]
generate small pic of some rate extend
and generate corresponding json
'''
from copy import deepcopy
import cv2
import json
import os
img_path = "/data/weardata/images"
json_path = "/data/weardata/json"
save_path = "/data/weardata/save"
head_save = os.path.join(save_path, "head")
body_save = os.path.join(save_path, "body")
hand_save = os.path.join(save_path, "hand")
foot_save = os.path.join(save_path, "foot")
# 4部件分类
head_label = ["head", "hat", "workhat", "helmet"]
body_label = ["blueworkclothes", "cloth", "refvest", "apron", "whiteworkclothes"]
hand_label = ["glove", "inglove", "hand"]
foot_label = ["shoes", "inshoes", "noshoes"]
# 只需要创建好存放图片、json、截图后文件的三个路径即可，其余部件路径自己创建
save_path = [head_save, body_save, hand_save, foot_save]
for s_p in save_path:
if not os.path.exists(s_p):
os.mkdir(s_p)
def cut_part(json_data, part_label, save_path, img_file, img_h, img_w, x_e, y_e):
i = 0
for shape in json_data["shapes"]:
[x_extend, y_extend] = [x_e, y_e]
json_data_1 = deepcopy(json_data)
if shape["label"] in part_label:
img_save = os.path.join(save_path, os.path.splitext(os.path.split(img_file)[-1])[0] + ".jpg")
json_save = save_path + "/" + file
if os.path.exists(json_save):
json_save = save_path + "/" + str(i) + file
img_save = save_path + "/" + str(i) + os.path.splitext(os.path.split(img_file)[-1])[0] + ".jpg"
json_data_1["imagePath"] = str(i) + os.path.splitext(os.path.split(img_file)[-1])[0] + ".jpg"
i += 1
print("-----------------------------")
p = shape["points"]
print(p)
print(x_extend, y_extend)
x_extend = int(abs(p[1][0] - p[0][0]) * x_e)
y_extend = int(abs(p[1][1] - p[0][1]) * y_e)
print(x_extend, y_extend)
x1 = int(min(p[0][0], p[1][0])) - x_extend
y1 = int(min(p[0][1], p[1][1])) - y_extend
x2 = int(max(p[0][0], p[1][0])) + x_extend
y2 = int(max(p[0][1], p[1][1])) + y_extend
# 判断截图是否超过范围
if x1 < 0:
x1 = 0
if y1 < 0:
y1 = 0
if x2 > img_w:
x2 = img_w
if y2 > img_h:
y2 = img_h
print(x1, y1, x2, y2, p[0][0], p[0][1], p[1][0], p[1][1])
print("-----------------------------")
inpart_label = []
for shape1 in json_data_1["shapes"]:
m_p = shape1["points"]
m_x1 = int(min(m_p[0][0], m_p[1][0]))
m_y1 = int(min(m_p[0][1], m_p[1][1]))
m_x2 = int(max(m_p[0][0], m_p[1][0]))
m_y2 = int(max(m_p[0][1], m_p[1][1]))
m_p[0][0] = m_x1
m_p[0][1] = m_y1
m_p[1][0] = m_x2
m_p[1][1] = m_y2
# 过滤哪些目标框留住
if shape1["label"] == "other" and ((x1 < m_x1 < x2 or x1 < m_x2 < x2)\
and (y1 < m_y1 < y2 or y1 < m_y2 < y2)):
inpart_label.append(shape1)
if x1 < (m_x1 + m_x2)/2 < x2 and y1 < (m_y1 + m_y2)/2 <y2:
if part_label == hand_label:
if shape1["label"] in hand_label:
inpart_label.append(shape1)
else:
inpart_label.append(shape1)
else:
continue
# print(m_x1, m_y1, m_x2, m_y2)
img = cv2.imread(img_file)
try:
img = img[y1:y2, x1:x2, :]
except TypeError:
print(img_file, shape["label"])
input()
json_data_1["shapes"] = []
for p_label in inpart_label:
m_p = p_label["points"]
m_p[0][0] = m_p[0][0] - x1
m_p[0][1] = m_p[0][1] - y1
m_p[1][0] = m_p[1][0] - x1
m_p[1][1] = m_p[1][1] - y1
# 判断目标框是否超出范围
if m_p[0][0] < 0:
m_p[0][0] = 0
if m_p[0][1] < 0:
m_p[0][1] = 0
if m_p[1][0] > x2 - x1:
m_p[1][0] = x2 - x1
if m_p[1][1] > y2 - y1:
m_p[1][1] = y2 - y1
json_data_1["shapes"].append(p_label)
json_data_1["imageHeight"] = y2 - y1
json_data_1["imageWidth"] = x2 -x1
json.dump(json_data_1, open(json_save, "w"), ensure_ascii=False, indent=2)
cv2.imwrite(img_save, img)
files = os.listdir(json_path)
for file in files:
if os.path.splitext(file)[-1] != ".json":
continue
# 指定各种图片格式，若还有别的格式的图片可以自己添加
img_file = os.path.join(img_path, file.split(".json")[0] + ".jpg")
if not os.path.exists(img_file):
img_file = os.path.join(img_path, file.split(".json")[0] + ".png")
if not os.path.exists(img_file):
img_file = os.path.join(img_path, file.split(".json")[0] + ".jpeg")
json_file = os.path.join(json_path, file)
json_data = json.load(open(json_file))
img_h = json_data["imageHeight"]
img_w = json_data["imageWidth"]
# 根据一定的比例进行外扩
cut_part(json_data, head_label, head_save, img_file, img_h, img_w, 0.3, 0.2) # head
cut_part(json_data, body_label, body_save, img_file, img_h, img_w, 0.25, 0.05) # body
cut_part(json_data, hand_label, hand_save, img_file, img_h, img_w, 0.3, 0.2) # hand
cut_part(json_data, foot_label, foot_save, img_file, img_h, img_w, 0.2, 0.2) # foot
- 这里的外扩比例是左右一个比例，上下一个比例，可以自己调。比如我的body部件的区域比较长，所以上下的比例会比较小。
- 截图后保留的目标框有以下两个过滤条件：
a.中心点没有落入截图区域内不留（没有超过一般），除了“other”标签（特征有歧义的涂黑标签）；
b.手部区域的非本类部件的类别不留。因为手部区域很大概率在body区域之内，中心点很可能落入其中，若是把body的框保留再根据目标框不超过截图范围，则整个截图的范围都是body框，但手部区域相对body区域小很多所以保留的body框的特征基本上全被破坏。 - 这里有两处范围判断：一处是截图时截图范围不能超过原图范围；二是目标框范围不能超过截图范围。都是超过最大按最大、低于最小按最小的方式处理。
截图前：
第1张图片有head、hand、foot这三个部件的目标框。
第2张图片有head、hand、body这三个部件的目标框。
截图后：
自己生成4个部件的保存路径。
1.搜索第1张图的截图效果
1）搜索第1张图内的head区域
a.截取的图片：
b.选取其中一张labelme打开：
2）搜索第1张图内的hand区域
a.截取的图片：
b.选取其中一张labelme打开：
3）搜索第1张图内的foot区域
a.截取的图片：
b.选取其中一张labelme打开：
2.搜索第2张图的截图效果
1）搜索第2张图内的head区域
a.截取的图片：
b.选取其中一张labelme打开：
2）搜索第2张图内的body区域
a.截取的图片：
b.选取其中一张labelme打开：
3）搜索第2张图内的hand区域
a.截取的图片：
b.选取其中一张labelme打开：
