自動調整 Hyperparameters

• Grid Search

• Random Search

• top K results are good enough

  • 若有 N 種 hyperparameter 組合，則使用 random search 做 x 次 sample，沒 sample 到前 K 名的機率為 $1-(1-K/N)^x$。若 N=1000 且想要排在前 10 名 (K=10) 的機率大於 90%，其實只要做 230 次實驗；假設只想要百名內，只要 sample 22 次就可以。

Model-based Hyperparameter Optimization

• bayesian approach

最近的 approach

AutoML

Reinforcement Learning

Learning Rate

Google - PowerSign

現在我們看到所有 optmizer 的 strategy 包括 SGD、RMSProp、Adam 等都可以看成是三個 operation 所構成的

Activation Function

Neural Architecture Search with Reinforcement Learning

NAS 的研究很花計算力?

Efficient Neural Architecture Search via Parameter Sharing. arXiv 2018

• 只需要不到 16 hours with Nvidia GTX 1080Ti GPU