김영진

• React 의 특징
  • 기존 JS에서는 Data를 수정한 뒤 View를 다시 호출해줘야 화면이 바뀐다.
  • Data만 수정해도 바뀌도록 하는것이 React 
• Reactive 하다
  • 특정값에 의해 자동으로 반응한다. 
  • 값을 setting할때 render를 불러서 화면을 다시 그리도록 한다. 

• 데이터의 변화시마다 UI에 반영하려면 DOM API를 호출해야 한다. 
• DOM API의 잦은 호출은 브라우저의 성능에 영향을 줄 수 있다. 
• 주요 렌더링 경로 (Critical Render Path) : 브라우저가 HTML과 CSS를 이용해서 화면을 그리는 과정
  • HTML 코드를 파싱해서 DOM 트리로 만든다. 
  • CSS 코드를 CSSOM 트리로 만든다.
  • 두 트리를 합쳐 렌더트리로 만든다. 
  • 레이아웃을 계산해서 픽셀로 화면에 그린다. 
• 돔 구조를 변경할때마다 레이아웃을 다시 계산해서 화면에 그린다. 
• 가상돔을 통해서 호출 횟수를 줄일 수 있다. 
  • 어플리케이션은 화면 변경을 가상 돔에 요청한다. 
  • 렌더링할때마다 가상 돔을 새로 만들어 이전 가상돔과 차이를 찾는다. 
  • 차이가 있는 부분만 실제 돔에 반영한다. 

MVC 패턴 

• Model
  • 데이터 관리역할
  • 외부 API나 브라우저 로컬 저장소에 있는 데이터를 가져와서 사용
  • 데이터를 수정하거나 삭제할 수 있음
• View
  • 사용자가 볼 수 있는 화면 관리 역할
  • 데이터를 DOM에 출력하거나 DOM에서 발생한 이벤트 처리 가능
    • DOM (Document Object Model)
      • XML이나 HTML 문서에 접근하기 위한 인터페이스 
      • 문서내의 모든 요소를 정의하고 각각의 요소에 접근하는 방법 제공
  • HTML 과 CSS가 View에 속함
•  Controller
  • 모델과 뷰를 연결하는 주체
  • 모델이 가지고 있는 데이터를 뷰에게 전달해서 화면 출력
  • 뷰에서 발생한 이벤트에 따라 모델의 데이터 관리 

게임 이론의 가정

• 모든 player는 합리적인 선택을 한다
• 모든 플레이어는 자신의 utility를 최대화 하기 위한 선택을 한다. 
• 모든 플레이어는 다른 플레이어가 합리적인 선택을 할 것 임을 알고 있다. 
• Dominant Action : 상대방이 어떤 Action을 하던지 내가 취할수있는 최고의 action

Game Theory의 수학적 표현 (N,A,u)

• N : 플레이어 수 , i 라는 index로 표현
• A : Action set 
  • $A_i$ : i player가 수행할 수 있는 action set
• u : utility function
  • $u_i(a)$ : 플레이어 i가 a 라는 액션을 선택했을때의 utility
  • 일반적으로 u는 N차원 벡터
     

Zero Sum Game 

• 모든 플레이어의 utility 합이 0인 게임 
• 나의 utility를 최대화 하기 위해서는 상대방의 utility를 최소화 해야한다. 

Nash Equlibrium

• $S_i$ : 플레이어 i가 취할 수 있는 action에 대한 확률 분포
• Strategy Profile S : N명의 플레이어들의 모든 $S_i$ 값을 모은 것 
  • S = ($S_1,S_2, \cdots , S_N$)
• support : 확률 분포가 있을때 확률이 0보다 큰부분 
• pure strategy : 모든 플레이어들이 항상 똑같은 전략을 사용, 시간에 따라 $S_i$가 달라지지 않음 
• mixed strategy : $S_i$를 따라서만 선택하는 것이 아니라 무작위성을 가짐 
• Best response : 나를 제외한 모든 player들의 전략이 주어졌을때 내가 선택할 수 있는 최선의 전략 
• Nash Equlibrium : 모든 Player들의 전략이 best response 일때
• minmax Strategy
  • 상대방이 상대방에게 가장 유리한 선택을 한다는 것을 안다고 가정 
  • 최솟값을 구함, 여기서 최솟값은 player1이 i번째 action을 취했을때 플레이어2가 최선의 액션을 취한 상황 
    • $V_i^1 = min{x_i^1 , \cdots , x_i^n}$
  • 각 행의 최솟값중 최대값이 되는 행을 선택하는 것이 maxmin strategy
    • $V^1 = max{V_i^1 , \cdots , V_n^1}$
  • utility 행렬이 player 1의 입장이기때문에 플레이어 2는 반대로 minmax strategy를 택함 
• value of the game : $V^1 = V^2 = V$ 인 V
• $V^1$ 과 $V^2$ 를 선택하는 두 플레이어의 전략 $(a_i,b_j)$ 를 Nash Equlibrium이라고 한다. 

MDP

• S : state 의 집합
• P : state transition function
  • state를 받아서 다른 state로 맵핑 해주는 함수
  • n개의 state 가 있으면 n*n matrix 가 됨
• memoryless random process
  • history를 알 필요 없이 현재 state만 알고 있으면 됨 
• markov property
  • 현재 state가 주어지면 과거의 일과 미래의 일이 독립이다. 

Markov Reward Process

• markov process에서 reward 개념을 추가한것 
• V(s)는 state S에서 시작할때 return 의 기댓값 

Value Function

• $V_{\pi}(S)$ : Policy &\pi&에서 State S가 주어졌을때 Value Function
• $Q_{\pi}(S,a)$ : Polivy $\pi$ 에서 State S 와 action a가 주어졌을 때 value Function

Bellman Equation

• Value Function을 구하기 위한 방정식
• $V_{\pi}(S) = E_{\pi} [R_{t+1} +\gamma V(S_{t+1}) | S_t = S]$

Optimal Value Function

• policy 마다 다른 value function이 주어지는 데 value function을 최대화 하는 policy를 적용했을때의 value function

Prediction & Control 

• Prediction : MDP가 주어지고 Policy가 주어졌을때 Value Function을 구하는 과정
• Control : MDP가 주어질때 optimal policy를 구하는 것 
• MDP가 주어진다는 것은 S,A,P,R,$\gamma$ 가 주어진것 
  • S : State
  • A : Action
  • P : State transition Probablity
  • R: Reward
  • $\gamma$ : 시간에 따른 감소상수

Policy Improvement

• Policy를 가지고 Value Function을 구하고 구한 Value Function을 바탕으로 Optimal Policy를 구하는 것 
• 시작할때 Random Policy를 이용해서 Value function을 도출하고, 도출된 Value function으로 Greedy Optimal policy를 구하고 다시 새로운 Policy로 Value function을 도출하는 과정을 반복하는 것 
• 반드시 optimal policy로 수렴한다.