近年来，在快餐式食堂领域也出现了通过RFID芯片、碗盘颜色识别等技术实现的机器结算。但是，随着顾客数量的日益增长，这已不能满足他们在就餐高峰期对结算速度的需求。通过调研分析，我们发现尽管目前市场上已出现RFID芯片、碗盘颜色的智能识别方式，但仍存在成本高、灵活度低等问题，菜品图像识别相较于它们有着巨大优势。
我们首先对托盘中的图像进行分割检测，将分离出来的图像再进行菜品图像识别。
霍夫变换
盛载菜品食物的碗盘器具基本是圆形的，因此对餐盘图像去噪后用霍夫圆变换实现对菜品碗盘位置的检测，实现碗盘分离。
数据集准备及处理
菜品数据集
经过旋转处理、亮度处理、色度处理、对比度处理、锐度处理以及图像弹性扭曲处理后，使每个分类标签的数据集扩大至54张增广图像和1张原始图像共55张图片，并将这55张图片按1：10的比例划分测试集和训练集。本次菜品共35道，共计测试集图像175张，训练集图像1750张。
（1）旋转处理(23张)：旋转角度α=15β（0<β<24），在旋转后通过比例计算得到边长缩放比为：
1:(|sin(α)|+|cos(α)|)
原句：“食堂异味很重，饭也不好吃！”
分词：['食堂','异味','很','重','饭','也','不','好吃']
匹配：[2882,23056,34,1218,1421,18,10,1452]
针对个人和机构AI研究者普遍缺乏算力的现状，AIStudio平台免费提供基础版（CPU:2CoresRAM：8GB，Disk：100GB）和高级版（GPU：TeslaV100，VideoMem：16GB；CPU：8Cores，RAM:32GB，Disk：100GB）两种运行环境。本项目模型训练过程选用GPU高级版运行环境。
训练分为三步：第一步配置好GPU训练环境；第二步用训练集进行训练；第三步保存好训练的模型。
模型准确率达99%以上。
预测程序为独立代码模块，可独立运行。预测主要分为四步：
第一步：配置预测环境；
第二步：预处理预测图片。将非RGB图片进行模式转换，转为RGB模式；对预测图片进行裁剪和缩放，调整大小为[3,224,224]；
第三步：加载预测模型并将预测图像放入模型进行预测；
第四步：输出预测结果，确定结果所属类别。
第二步：预处理预测文本，通过预训练词向量模型对文本进行转换，处理为索引集结果；
第三步：加载预测模型并将预测文本放入模型进行预测；
这里以前端页面来模拟结果回显。
系统通过软硬件结合形式完成整一流程。硬件主体由一个放置台和两个摄像头组成，通过无线路由器将设备连接在同一测试网络下。本设备中使用的是海康威视网络摄像头。
在实物图中，位于上方的摄像头用于人脸识别，下方的摄像头用于识别托盘中的菜品并计价。在实际情况中，对菜品识别成功并计价后，下方摄像头停止识别，人脸识别摄像头开始检测人脸，识别并支付成功后，菜品摄像头继续识别，等待下一位用户的到来。
在社会节奏加快，高校或企业食堂用餐高峰更加集中以及外卖行业盛行的三重压力下，食堂对效率更高的结算系统的需求愈加突出。在此环境下，智能识别，智能结算一体化系统应运而生。
针对用户属于社会高水平教育接受者的现实，该项目适当拓展产业链，开发与消费者距离更短的终端APP以提高利润空间。
由于市场上同质产品较少，市场空白较多，因此该项目隐藏着巨大的发展空间。并且作为行业的先驱者，基于项目客户粘性大的优势，迅速占领市场后，可以较好地维持活跃用户数量。