나의 공부소리 : 우가우가

미분 미분값을 알면 (한 점에서 접선의 기울기를 알면), 어느 방향으로 점을 움직여야 함수값이 증가하는지/감소하는지 알 수 있다. 미분은 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구이다. 어떠한 변수가 바뀌면, 얼마나 함수값이 오차가 커지는지 등을 알 수 있고, 이를 통해 오차를 줄이도록 변수를 조정하며 최적화 할 수 있다. 벡터가 입력인 다변수 함수의 경우 각 변수의 편미분을 계산한 gradient 벡터를 이용하여 경사하강/상승법에 사용할 수 있다. $\nabla f=(\partial _{x_1} f, \partial _{x_2} f, ..., \partial _{x_d} f)$ 경사하강법 경사하강법을 사용하여 선형회귀식을 찾는다고 가정해보면, 선형회귀의 목적식은 $||y-X\beta||_..

벡터 벡터의 같은 자리 원소 간의 곱 : Elementwise product, Hadamard product 라고 한다. 벡터는 공간에서 한 점을 나타내며, 원점에서 상대적 위치를 표현한 것이다. 벡터의 노름(norm)은 원점으로부터의 거리를 나타내며, 대표적으로 다음과 같은 두가지가 있다. L1 norm : $||x||_1 = \Sigma|x_i|$ L2 norm (유클리드 거리) : $||x||_2 = \sqrt{\Sigma|x_i|^2}$ 노름의 종류에 따라 기하학적 성질이 달라진다. ‘거리’의 성질이 다르기 때문이다. *기계학습의 목적에 따라 다르게 사용한다는 점 두 벡터 사이의 각도 구하기 : 제2 코사인 법칙에 의해 벡터 사이의 각도를 계산함. $cos\theta =$ ${} \over {||..

보호되어 있는 글입니다.