admin管理员组

文章数量:1663031

文章目录

  • 1. 背景引入
  • 2. 网络架构搜索（NAS）
    • 2.1 NAS 搜索策略
      • 2.1.1 基于强化学习
      • 2.1.2 基于进化算法
      • 2.1.3 基于梯度的方法
    • 2.2 NAS 加速
      • 2.2.1 层次化表示
      • 2.2.2 权值共享
      • 2.2.3 表现预测
    • 2.3 NAS 变体及扩展
      • 2.3.1 语义分割
      • 2.3.2 多目标
      • 2.3.3 优化器
      • 2.3.4 模型压缩
      • 2.3.5 数据增强

1. 背景引入

超参数的自动搜索优化（Hyperparameter optimization，HO）：

  • 随机搜索（Random search）
  • 网格搜索（Grid search）
  • 贝叶斯优化（Bayesian optimization）
  • 强化学习（Reinforcement learning）
  • 进化算法（Evolutionary Algorithm）

对于深度学习，超参数分为两类：

  1. 训练参数（learning rate，batch size，weight decay等）
  2. 定义网络结构的参数（基层、算子、卷积大小），维度高，离散，相互依赖。

1的自动调优仍是HO范畴。
2的自动调优一般称为网络架构搜索（Neural Architecture Search， NAS）

2. 网络架构搜索（NAS）

本质上来讲，其与围棋类似，是高维空间的最优参数搜索问题。
缺点：消耗计算资源巨大，不是一般人玩得起的。

NAS套路：

  1. 先定义搜索空间
    链式结构—>多叉结构(组合自由度)—>cell/block
  2. 通过搜索策略找出候选网络结构，进行评估，根据反馈进行下一轮搜索。

2.1 NAS 搜索策略

随机搜索简单但相对低效，通常用作baseline。其中基于强化学习和进化算法的本质：离散空间中搜索，将目标函数看做黑盒。

2.1.1 基于强化学习

开创性工作：

  • MIT2016，MetaQNN，将网络架构搜索建模成马尔科夫决策过程：Designing Neural Network Architectures using Reinforcement Learning
  • 2016Google，RNN网络作为控制器采样生成描述网络结构的字符串：Neural Architecture Search with Reinforcement Learning

2.1.2 基于进化算法

  • Google：Large-Scale Evolution of Image Classifiers</

本文标签： 神经网络架构知识neuralSearch

版权声明：本文标题：【知识普及】神经网络架构搜索（Neural Architecture Search，NAS） 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dianzi/1729978107a1218269.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。