Youtube

為何不用 supervised learning 就好

• objective function 無法對 $\theta$ 做偏微分，不能 BP
• supervised learning 必須有正確的 label，然而連人類都不確定正確答案是什麼
  • learning from teacher
• 沒有老師
  • learning from experience

Alpha Go is supervised learning + reinforcement learning.

Learning a chat-bot - Reinforcement Learning

Deep Reinforcement Learning for Dialogue Generation

RL包含兩種方法

• Value-based
• Policy-based

More applications

Policy-based Approach - Learning an Actor

當Actor就是NN時，就叫 Deep Reinforcement Learning

$\tau$: episode, 一整場遊戲 $s$: state, 其實就是機器對環境的 observation $\pi$: actor $\theta$: actor 的 parameter $\pi(s)$: action，會對環境造成一些影響，於是就有了 reward $r$: reward

DL 三步驟 =&gt 套用在 DRL

1. define a set of function =&gt Neural Network as Actor
2. goodness of function =&gt Goodness of Actor
3. pick the best function =&gt

i. Neural network as Actor

• input: machine 觀察到的 matrix
• output: 任何可能的 action (action 有幾種，output 就有幾維)
  • 通常每個 action 會有一個機率

ii. Goodness of Actor

• $\pi_\theta (s)$: 某個 actor 決定做 action 的 function?
• $R_\theta$: 該 actor 某次玩遊戲的結果
• $\bar{R_\theta}$: 該 actor 玩遊戲得分的期望值，也是評估 actor 好壞的標準
• 在第 t 時間點的順序:
  • 觀察到 $s_t$
  • 決定採取 action $a_t$
  • 得到 reward $r_t$

• 一場遊戲可以用 $\tau = \{ s_1,a_1,r_1,s_2,a_2,r_2,...,s_T,a_T,r_T\}$ 來表示，可以視為一個過程 (trajectory)
  • 那這個過程其實是一種機率分布，因為任何過程都有可能出現
• $R(\tau) = \sum_{n=1}^T r_n$: 該場遊戲的 total reward
  • 影片有誤，應為 T 而不是 N
• $P(\tau |\theta)$: 選定一個 actor 的參數，某過程所出現的機率
• $\bar{R_\theta} = \sum_\limits{\tau} R(\tau)P(\tau |\theta)$: 給定一個 actor 的參數 $\theta$，所有可能的路徑所產生的 reward 的期望值
  • 但是不可能對所有的 $\tau$ 作加總，因此取近似值，讓 $\pi_\theta$ 玩 N 場遊戲，將 reward 做平均 ($\bar{R_\theta} \approx \frac{1}{N}\sum_\limits{n=1}^N R(\tau^n)$)，也就是使用 sampling 來近似 $\sum_\limits{\tau}P(\tau |\theta)$
  • 這個式子似乎和 GAN 做 sequence generation 的式子幾乎是一樣的，只是 $R(\tau)$ 不需要可以微分 (by DRL Lec1)

iii. pick the best function

• 目標就是最大化 $\bar{R_\theta}$

• $R(\tau)$ 和 $\theta$ 無關，因此不需要做偏微分
• $\frac{\nabla P(\tau |\theta)}{P(\tau |\theta)} = \nabla log P(\tau |\theta)$
  • 因為 $\frac{\text{d}log(f(x))}{\text{d}x} = \frac{1}{f(x)}\frac{\text{d}f(x)}{\text{d}x}$
• $\sum_\limits{\tau}P(\tau |\theta)$ 可以用 sampling 做近似
• 那剩下的問題就是計算 $\nabla log P(\tau |\theta)$

• $\nabla \bar{R_\theta} \approx \frac{1}{N} \sum_\limits{n=1}^N \sum_\limits{t=1}^{T_n} R(\tau^n)\nabla logp(a_t^n |s_t^n, \theta)$
  • 很直覺，如果某 state 採取某項行動導致最終的總 reward 是正的，就提高該 action 的機率

• 為何要取 log 呢? 其實這也是可以解釋的
  • $\nabla logp(a_t^n | s_t^n, \theta) = \frac{\nabla p(a_t^n |s_t^n, \theta)}{p(a_t^n |s_t^n, \theta)}$，為何要除以 p 而不直接取 gradient 就好呢? 如果只取 gradient，當某個 action 的出現機率比較高，那 gradient ascent 就會更傾向於提高該 action 的機率，即使他得到的 reward 並不多。

如果所有 action 的 reward 都是正的，雖然每次更新都會提升所有 action 的值，但是能達到比較大 reward 的 action 仍然會提升比較多機率 (因為機率會做 normalize)，這是理想狀況。 然而實際狀況我們使用 sampling 的方式去逼近 $\nabla \bar{R_\theta}$，因此可能會沒有 sample 到某個 action，導致該 action 的機率更新後變得更小 (因為所有 action 的值都增加了，但是沒有 sample 到的沒增加)。 於是我們希望 $R(\tau)$ 有正有負，因此減去一個 b，可以將 b 視為 baseline，我們可以自己訂。如此一來，有 sample 到的 action 就不會都只增加機率，沒 sample 到的 action 相對來說就不會只減少機率了。

Critics

Three kinds of Critics