에프( S , )

$f(s,a)$Q(s,a)

$Q(s,a)$Q(s,a)

$Q(s,a)$w

$w$

다음은 를 학습하기위한 일반적인 알고리즘입니다.Q(s,a)

$Q(s,a)$

• w=(w1,w2,....,wn)
  $w=(w_1,w_2,....,w_n)$

  $w=(w_1,w_2,....,w_n)$

• 각 에피소드마다 :

  1. s←
     $s\leftarrow$

     $s\leftarrow$

  2. a←
     $a\leftarrow$

     $a\leftarrow$π

     $\pi$

     $\pi$ϵ

     $ϵ$

     $\epsilon$

  3. a
     $a$

     $a$r

     $r$

     $r$s′

     $s^{\prime }$

     $s'$

  4. w←w+α(r+γ∗maxa′Q(s′,a′)−Q(s,a))∇⃗ wQ(s,a)
     $w\leftarrow w+\alpha (r+\gamma \ast ma{x}_{a^{\prime }}Q(s^{\prime },a^{\prime })-Q(s,a)){\overrightarrow{\mathrm{\nabla }}}_{w}Q(s,a)$

     $w\leftarrow w+ \alpha(r+\gamma * max_{a'}Q(s',a') - Q(s,a)) \vec\nabla_wQ(s,a)$

  5. s←s′
     $s\leftarrow s^{\prime }$

     $s\leftarrow s'$

  될 때까지 2-5를 반복하십시오.s

  $s$

  $s$

어디 …

• α∈[0,1]
  $\alpha \in [0,1]$

  $\alpha\in[0,1]$

• γ∈[0,1]
  $\gamma \in [0,1]$

  $\gamma\in[0,1]$

• maxa′Q(s′,a′)
  $ma{x}_{a^{\prime }}Q(s^{\prime },a^{\prime })$

  $max_{a'}Q(s',a')$a′

  $a^{\prime }$

  $a'$s′

  $s^{\prime }$

  $s'$Q(s′,a)

  $Q(s^{\prime },a)$

  $Q(s',a)$

• ∇⃗ wQ(s,a)
  ${\overrightarrow{\mathrm{\nabla }}}_{w}Q(s,a)$

  $\vec\nabla_wQ(s,a)$Q(s,a)

  $Q(s,a)$

  $Q(s,a)$w

  $w$

  $w$(f1(s,a),...,fn(s,a))

  $(f_1(s,a),...,f_n(s,a))$

  $(f_1(s,a),...,f_n(s,a))$

매개 변수 / 가중치 업데이트 (4 단계)는 다음과 같은 방식으로 읽을 수 있습니다.

• (r+γ∗max′aQ(s′,a′))−(Q(s,a))
  $(r+\gamma \ast ma{x}_a^{\prime }Q(s^{\prime },a^{\prime }))-(Q(s,a))$

  $(r+\gamma * max_a'Q(s',a')) - (Q(s,a))$Q(s,a)

  $Q(s,a)$

  $Q(s,a)$Q(s,a)

  $Q(s,a)$

  $Q(s,a)$r

  $r$

  $r$ γ∗max′aQ(s′,a′)

  $\gamma \ast ma{x}_a^{\prime }Q(s^{\prime },a^{\prime })$

  $\gamma * max_a'Q(s',a')$

• ∇⃗ wQ(s,a)
  ${\overrightarrow{\mathrm{\nabla }}}_{w}Q(s,a)$

  $\vec\nabla_wQ(s,a)$α

  $\alpha$

  $\alpha$

주 원천:

8 장 (전체 권장) 책의 값 근사Q(s,a)

$Q(s,a)$V(s)

$V(s)$e

$e$

더 많은 참조

• Q(s,a)
  $Q(s,a)$

  $Q(s,a)$

• Geist와 Pietquin 의 파라 메트릭 값 함수 근사 에 대한 간략한 조사 . 유망 해 보이지만 아직 읽지 않았습니다.

답변