该搜索算法基于进化算法。为了提高搜索效率，研究者设计了损失函数拒绝机制（Loss-Rejection Protocol）和梯度等价性检测（Gradient-Equivalence-Check Strategy）。如图 4 所示，研究者发现这些模块可以有效地提高搜索的效率。尤其是在目标检测任务上，由于同时对 4 个分支进行搜索，搜索空间尤为稀疏，这使得在没有损失函数拒绝机制的情况下，搜索过程无法在合理的时间内（约 400 次代理任务评估）找到任何分数大于 0 的损失函数。这表明高效的拒绝机制是搜索有效的关键。
图4. 搜索效率对比
研究者在表 8 中进一步分析了各个模块给搜索效率带来的提升。“满血”的 AutoLoss-Zero 可以在 48 小时内（使用 4 块 V100 GPU）探索超过10^6 个候选损失函数，这使得它可以在庞大而稀疏的搜索空间内有效地探索。
表8. 目标检测任务的搜索效率分析。（“# Explored Losses”表示算法在48小时内探索的损失函数数量。“Stop Training for Invalid Loss Values”表示网络在代理任务的前20轮更新内即由于出现NaN或Inf而停止了训练。）
建新·见智 —— 2021亚马逊云科技 AI在线大会
4月22日 14:00 - 18:00
大会包括主题演讲和六大分会场。内容涵盖亚马逊机器学习实践揭秘、赢咖4赋能企业数字化转型、大规模机器学习实现之道、AI 服务助力互联网快速创新、开源开放与前沿趋势、合作共赢的智能生态等诸多话题。
亚马逊云科技技术专家以及各个行业合作伙伴将现身说法，讲解 AI/ML 在实现组织高效运行过程中的巨大作用。每个热爱技术创新的 AI/ML 的爱好者及实践者都不容错过。
