컴공과컴맹효묘의블로그

Normal Equation 정규방정식 지금까지 선형회귀의 모델을 최적화 시키는데에 있어서 경사하강법을 사용했습니다. 이번 포스팅에서는 특정 선형 회귀문제에서 θ를 구하는데 효과적인 방법을 설명하겠습니다. 기존에는 경사하강법을 사용해서 θ의 최적값을 구했습니다. 경사하강법은 최적의 θ를 구하기위해서 특정 알고리즘을 어떤 값에 수렴 할때까지 계속 반복해야합니다. 하지만 Normal Equation(정규 방정식)을 사용하면 반복할 필요없이 한번에 최적의 θ를 구할 수 있습니다. θ가 벡터가 아니라 스칼랄고 가정합시다. 위와같은 cost function(비용함수)이 있을 때 최솟값 θ를 구하는건 간단합니다. 미적분을 배운사람이면, 저 방정식을 미분해서 0이되는 값을 찾기만하면 된다는 것을 직관적으로 알 수 있..

저번 시간에는 비용함수에 대해서 공부했습니다. 다시 정리하지면, 비용함수는 "오차를 표현해주는 미분 가능한 함수" 입니다. 비용함수가 오차들의(제곱의)평균이므로 오차의 최소값을 구해야겠죠? 실제로 최소값(global minimum)을 구하는 것은 어려우니, 경사하강법으로 극소값(local minimum)을 구할 수 있습니다. 따라서 경사하강법은 비용함수의 극소값을 구하는 방법입니다. 경사하강법 Gradient descent 경사하강법은 특정한 점 x를 잡고, 비용함수의 기울기를 구한 후, 기울기에 따라서 x의 값을 변화시켜주는 방법입니다. 그림으로 쉽게 설명하겠습니다. 여기 단순한 y=x^2의 그래프가 있습니다. 그리고 이 그래프의 아무점, 예를들어서 7.5를 잡아본다고 하겠습니다. x = 7.5일 때,..