将多个网络模型组合在一起可以提高性能，但现实情况是，由于总网络规模和推理时间也会增加，因此在实际应用中存在许多困难。
MEAL（通过对抗学习的多模型集成）应用师生学习来解决此问题，具体来说，它考虑了已经作为多位老师学习的多个网络，并通过选择模块选择了其中的一个。并最终蒸馏出一个单一的学生网络。
共享链接是MEAL v2 github，并且已应用了一些改进，例如直接使用教师的集合而不是选择模块，并且从蒸馏过程中排除了一个热标签/硬标签。结果，在不更改网络结构的情况下，ResNet-50的ImageNet-1K性能（224×224单作物）超过了TOP-1 80%。该论文的标题也是“ ResNet-50性能80%通过而没有花招”。
该代码以及ResNet-50，MobileNet V3和EfficientNet-B0的预训练模型都可以公开获得，因此看起来非常适合迁移学习。
