나의 공부소리 : 우가우가

요약 비동기식 deep RL gradient descent 방법론 제안. value-based, policy-based, on-policy, off-policy 구분없이 적용 가능. 가장 성능 좋은 것이 A2C+비동기식. multi-core CPU, multi-threads 사용하여 학습 가능. 학습속도 개선. on-line RL 의 문제점은, 데이터간의 상관성이 매우 높아서(현 state, action 으로 인해 다음 state가 결정되므로) 학습이 어렵다는 문제점이 있다. 이를 해결하기 위한 기존 접근이 Experience Replay. Experience Replay 는 agent의 경험을 모아놓고, 여기서 랜덤으로 샘플링하여 학습에 사용한다. 각 데이터간의 상관성이 줄어들고, 예전 경험을 사용할 ..

MDP(Markov Decision Processes) Markov Property (3.4) next state (S_t+1)은 이전의 모든 state들의 영향을 받는다. (3.5) t+1의 시점의 환경의 반응(Reward, State)은 S_t(현재상태)의 영향만을 받는다. 식 3.4 처럼 처음 어떠한 상태(S_0)로부터 시작해서 현재 상태(S_t)까지 올 확률이 바로 전 상태에서 현재 상태까지 올 확률과 같을 때, 식 3.5처럼 표현이 될 수 있고 state는 Markov하다고 일컬어질 수 있다. Markov state : Markov property(위의 성질)를 갖고있는 state. MDP S(State) 상태, A(Action)행동, P(transition probability)상태변환확률, ..