Skip to content

Latest commit

 

History

History
113 lines (94 loc) · 4.61 KB

shitu_pipeline_eval.md

File metadata and controls

113 lines (94 loc) · 4.61 KB
Raw

PP-ShiTu Pipeline评估

目录

1. 模型准备

创建存放模型的文件夹deploy/models，并下载轻量级主体检测、识别模型，命令如下：

cd deploy
mkdir models
cd models

# 下载检测模型并解压
# wget {检测模型下载链接} && tar -xf {检测模型压缩包名称}
wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/PP-ShiTuV2/general_PPLCNetV2_base_pretrained_v1.0_infer.tar && tar -xf general_PPLCNetV2_base_pretrained_v1.0_infer.tar

# 下载识别 inference 模型并解压
#wget {识别模型下载链接} && tar -xf {识别模型压缩包名称}
wget https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/rec/models/inference/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar && tar -xf picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer.tar

解压完成后，models文件夹下有如下文件结构：

├── inference_model_name
│   ├── inference.pdiparams
│   ├── inference.pdiparams.info
│   └── inference.pdmodel
└── det_model_name
    ├── inference.pdiparams
    ├── inference.pdiparams.info
    └── inference.pdmodel

2. 数据集准备

2.1 使用官方场景库数据

官方场景库介绍以及数据集下载详见场景库应用。以交通工具场景库为例，下载并解压完成后，datasets/Vechicles文件夹下应有如下文件结构：

├── Vechicles/
│   ├── Gallery/
│   ├── Index/
│   ├── Query/
│   ├── gallery_list.txt/
│   ├── query_list.txt/
│   └── label_list.txt/
└── ...

其中，Gallery文件夹中存放的是用于构建索引库的原始图像，Index表示基于原始图像构建得到的索引库信息，Query文件夹存放的是用于检索的图像列表，gallery_list.txt和query_list.txt分别为索引库和检索图像的标签文件，label_list.txt是标签的中英文对照文件。

2.2 准备迁移应用的数据集

如果测试模型在迁移应用的具体数据上的识别精度，需要准备对应的数据。迁移应用的具体数据集数据量根据实际情况收集，尽量避免数据过少；将收集的数据分为两部分：建库图像（gallery）和测试图像（query）。其中，建库数据数据量无需过多，但需要保证每个类别图像包含该类别物体的各种外观情况（不同角度、形状等）。

收集并划分好建库图像和测试图像后，需要生成对应的真值文件（gallery_list.txt和query_list.txt），真值文件格式如下：

# 每一行采用“空格”分割图像路径与标签
image_path_1 label_1
image_path_2 label_1
image_path_3 label_1
image_path_4 label_2
...

3. 模型评估

模型评估配置文件详见：./deploy/configs/evaluation_general.yaml

配置文件部分字段说明如下:

Global.det_inference_model_dir    检测模型地址
Global.rec_inference_model_dir    识别模型地址

Eval.name                         评测数据集名称
Eval.image_root                   评测数据集query图像地址
Eval.cls_label_path               评测数据集query_list.txt地址
Eval.output_dir                   评测结果保存地址

IndexProcess.image_root           评测数据集gallery图像地址
IndexProcess.index_dir            评测数据集index保存地址
IndexProcess.data_file            评测数据集gallery_list.txt地址

注意：如果使用官方场景库数据，评测数据集index保存地址IndexProcess.index_dir需要与官方提供的datasets_name/Index文件夹区分开。

以交通工具场景数据集Vechicles为例，运行以下命令进行模型评估：

cd deploy
python python/eval_shitu_pipeline.py -c ./configs/evaluation_general.yaml \
-o Global.det_inference_model_dir=./models/picodet_PPLCNet_x2_5_mainbody_lite_v1.0_infer \
-o Global.rec_inference_model_dir=./models/general_PPLCNetV2_base_pretrained_v1.0_infer \
-o Eval.image_root=./datasets/Vechicles \
-o Eval.cls_label_path=./datasets/Vechicles/query_list.txt \
-o Eval.output_dir=./datasets/Vechicles/eval_out \
-o IndexProcess.image_root=./datasets/Vechicles \
-o IndexProcess.index_dir=./datasets/Vechicles/test_index \
-o IndexProcess.data_file=./datasets/Vechicles/gallery_list.txt

输出结果如下:

...
recal_1: 0.9400
recal_2: 0.9800
recal_3: 0.9900
recal_4: 1.0000
recal_5: 1.0000