Abstarct
提出了一种新的多流卷积神经网络（MS-CNN）来处理这些多视图图像，每个图像流处理一个特定视角的图像，不同的图像流共享部分权值以融合高阶特征而不损失太多的多样性。
此外，卷积核激活的可视化表明，MS-CNN模拟人工过程，确实可以识别相对复杂的特征。这些结果表明，我们的机器在珍珠行业具有潜在的价值。
Inroduction
人工分类珍珠时，需要同时考虑珍珠的多种特征，这在现实中是比较困难的。而且，体力劳动是重复的、单调的、低效的。因此，迫切需要自动提取分类标准。
一般来说，珍珠分类可以看作是一项精细的识别任务[7]-[9]，这是相当具有挑战性的，因为类别之间的视觉差异非常小，不检查珍珠的完整视图就可以忽略。
首先，设计了一种珍珠分类机，可以采集五种不同视角的珍珠图像，实现珍珠的自动分类。该机的广泛应用，有助于珍珠行业节省大量劳动力，制定统一的分级标准。其次，提出了一种新的用于珍珠分类的MS-CNN算法，该算法具有较高的分类精度，在二类和七类分类任务中均优于SVM和BPNN。这种新颖的CNN结构也可用于需要处理多视图图像的其他应用，例如三维CAD模型。
Method
尽管这种架构可能不是最优的，而且还可以进一步改进，但是我们发现它可以在分类任务中完成令人印象深刻的工作，而且细微的变化似乎对分类结果没有显著的影响。
这个网络为了加快运行速度，在前面的网络中权重共享，但是在最后的全连接层中使用了不同的权重（为了体现来自不同视野的差异）。
Experiment
最终收集了10500颗珍珠和52500张带有标签信息的多视图图像。我们将数据集按6:2:2的比例分成三部分，包括6300个训练实例、2100个验证实例和2100个测试实例。这些实例的标签取决于分类规则。我们在训练阶段使用训练和验证集，并使用测试集来评估模型。
为了验证性能，训练了两个模型分类粗糙和精细的珍珠。
这篇文章做的对比实验是通过与传统的机器学习方法对比，即手动的划定特征。
给予不同视图的图像不同权重，对准确率的影响。
不同的框架对于此任务的影响。
e、g类珍珠为短径与长径之比约小于0.7的珍珠，简单地说，可以解释为米形珍珠。此外，e类珍珠有浅层瑕疵，而g类珍珠没有瑕疵。从左视图、右视图、主视图和后视图可以看出，第三排的珍珠是米色的，很可能是浅层瑕疵。从分类标准来看，第三排的珍珠也可能属于e类，另一方面，我们也可以看出，这颗珍珠的大小比较大，因此可能比其他e类珍珠的价值更高。这可能是为什么经验丰富的专业人士倾向于将这颗珍珠归类为g类中更具价值的一类的原因。
Conclusion
本文设计了一种珍珠分类机，利用该机可以自动采集大量珍珠的多视图图像，并利用一种新的MS-CNN算法对珍珠进行高精度分类。
这台机器运转平稳。MS-CNN有五个流，以每颗珍珠的五个视图的图像作为输入，提取珍珠表面的特征，并通过权重共享机制和完全连接层进一步融合。
实验结果表明，该方法在一定程度上克服了由视点引起的问题，在两种分类任务中都取得了较好的效果，特别是在采用加权组合策略更加关注左视图和右视图的情况下，明显优于基于手工特征的SVM和BPNN。
值得注意的是，这里我们选择AlexNet作为构建MSCNN的基础网络，因为实验验证了AlexNet与VGG19、GoogleNet和ResNet34相比具有最少的测试时间和可比的准确性。
通过对卷积核激活的可视化，我们证明了我们的模型能够识别相对复杂的特征，如纹理。MS-CNN也可用于需要处理多视图图像的许多其他应用，例如三维CAD模型。本机能有效、高效地对珍珠进行分类，模拟实际人工分类，对珍珠生产企业具有一定的参考价值。
简单来说，做了以下工作：
1、设计了一个用于珍珠分类的机器
2、在AlexNet神经网络的基础上加入了多流形，共享权值及最后全连接层体现差异，并做实验证明了多流形的优越性和AlexNet网络选择的优越性；
3、卷积可视化技术，证明了所学的知识表示的有效性
4、分析了识别错误的样本及可能原因
5、权重调整粗略涉猎
