李宏毅机器学习hw3 Boss baseline(2023)

李宏毅机器学习hw3 Boss baseline的实现策略和关键点如下:

基线实现层次:

初始简单基线:准确率为0.63733,基于理解问题后的简单模型构建。

中等基线:准确率为0.70000,引入了图像数据增强策略,显著提升识别性能。

训练优化策略:

调整DataLoader并发数量:Train用4~8个并发,persistent_workers=True,Test用2个并发,显著缩短训练时间至9秒一轮,同时满载CPU核,支持并行训练。

更高层次基线策略:采用复杂策略,如使用预定义CNN模型、加入dropout、增加训练轮数、提高数据变换复杂度等,提升模型泛化能力。

关键优化技巧:

在全连接层加入dropout并加深一层:从0.75提升至0.77。

增加训练轮数:从0.77提升至0.82。

提高数据变换复杂度:从0.77提升至0.82。

使用预定义的CNN模型,结合dropout和更深网络结构。

数据增强与模型性能:

增加图像增强复杂度:引入BatchNormalization层,提升模型性能至0.844。

优化器选择:Adam优化器训练模型性能达到0.828,SGD优化器虽稍逊但仍有提升空间。

集成学习策略:

选择多个模型组合:使用不同网格结构、合并数据集、调整学习率衰减策略、引入归一化、使用测试时增强等,实现boss baseline准确率0.87400。

测试时增强方法:作为数据增强策略,结合多个结果的众数,进一步优化模型性能。

总结关键点:

并发加载:提升训练效率。

数据复杂性与训练轮数:合理调整以提升模型性能。

模型优化中的trick:如dropout、加深网络结构等。

ensemble策略:优缺点并存,但能有效提升模型准确率。

验证集不足时策略:直接合并到训练集。

通过逐步优化基线模型,结合合理的策略调整,最终实现了较高准确率的boss baseline。