零售行业商品特征学习数据集

目前开源的商品识别方向的数据集
Products-10K Large Scale Product Recognition Dataset :数据集中的所有图片均来自京东商城。数据集中共包含 1 万个经常购买的 SKU。所有 SKU 组织成一个层次结构。总共有近 19 万张图片。在实际应用场景中，图像量的分布是不均衡的。所有图像都由生产专家团队手工检查/标记。
RP2K: A Large-Scale Retail Product Dataset for Fine-Grained Image Classification :收集了超过 500,000 张货架上零售产品的图像，属于 2000 种不同的产品。所有图片均在实体零售店人工拍摄，自然采光，符合实际应用场景。
本项目以实际应用场景为依托，以数据质量为主要衡量标准，主体基于上述两大开源商品识别方向数据集，从中以样本均衡、图像质量、实际应用等为思考维度选取了部分SKU，并结合图片爬虫技术等数据搜索方式，开源了一份更符合本项目实际应用背景和技术需求的demo数据集。此数据集总计覆盖商品357类，涵盖包括厨房用品、日用品、饮料等生活日常购买商品，商品类别细粒度较高，涉及诸如同一品牌的不同规格商品、同一品类的不同品牌商品等实际场景下的数据可能性，能够模拟实际购物场景下的购买需求。
商品部分list
东古酱油一品鲜

东古黄豆酱750G

东鹏特饮罐装

中华（硬）

中华（软）

乳酸菌600亿_2

乳酸菌600亿_3

乳酸菌600亿原味

乳酸菌600亿芒果

乳酸菌600亿芦荟

...

数据集格式
训练集合（train dataset）：用来训练模型，使模型能够学习该集合的图像特征。
底库数据集合（gallery dataset）：用来提供图像检索任务中的底库数据，该集合可与训练集或测试集相同，也可以不同，当与训练集相同时，测试集的类别体系应与训练集的类别体系相同。
测试数据集合（query dataset）：用来测试模型的好坏，通常要对测试集的每一张测试图片进行特征提取，之后和底库数据的特征进行距离匹配，得到识别结果，后根据识别结果计算整个测试集的指标。
训练集、底库数据集和测试数据集均使用 txt 文件指定，训练数据集 train_list.txt文件内容格式如下所示：
# 采用"空格"作为分隔符号
...
train/10/1283.jpg 10 624
train/10/1284.jpg 10 625
train/10/1285.jpg 10 626
train/10/1286.jpg 10 627
...
验证数据集(本数据集中既是 gallery dataset，也是 query dataset)test_list.txt 文件内容格式如下所示：

...
test/103/743.jpg 103 743
test/103/744.jpg 103 744
test/103/745.jpg 103 745
test/103/746.jpg 103 746
...
注：

每行数据使用“空格”分割，三列数据的含义分别是训练数据的路径、训练数据的label信息、训练数据的unique id;
本数据集中由于 gallery dataset 和 query dataset 相同，为了去掉检索得到的第一个数据（检索图片本身无须评估），每个数据需要对应一个 unique id（每张图片的 id 不同即可，可以用行号来表示 unique id），用于后续评测 mAP、recall@1 等指标。yaml 配置文件的数据集选用 VeriWild。

根据以上描述对数据集进行处理，并将数据集修改为如下目录格式：
├── classlabel.txt # 数据label和对应商品名称
├── gallery_label.txt # 图片地址及对应的商品名称
├── gallery # 底库图片
├── test # 测试集图片
├── test_list.txt # 测试集图片地址及对应的商品名称
├── train # 训练集图片
└── train_list.txt # 训练集图片地址及对应的商品名称