컴공과컴맹효묘의블로그

경사하강법에서 학습률이란 한번 학습할때 얼만큼 변화를 주는지에대한 상수입니다. 예를들어 부산에서 서울까지 가는데에 순간이동을 한다고 합시다. 만약 서울방향으로 10km씩 순간이동을 하면 금방 갈것입니다. 하지만 만약 1m씩 순간이동을 하면 너무 오래걸리겠죠. 그리고 1000km씩 순간이동을 하면 서울을 지나 오히려 더 멀어질것입니다. 얼마큼씩 이동할때 이 거리가 바로 학습률입니다. 이 블로그에서 처음 학습률이 등장하는 포스트 : https://hyomyo.tistory.com/13?category=820909 수알못의 머신러닝 공부 : 경사하강법 저번 시간에는 비용함수에 대해서 공부했습니다. 다시 정리하지면, 비용함수는 "오차를 표현해주는 미분 가능한 함수" 입니다. 비용함수가 오차들의(제곱의)평균이므로..

안녕하세요 효묘입니다. 이번 포스팅에서는 지금까지 소개한 내용을 바탕으로 경사하강법을 좀 더 보기 간결하게 수학적으로 짧게 표현하도록 하겠습니다. 행렬이란 : https://hyomyo.tistory.com/15 행렬곱 : https://hyomyo.tistory.com/16 전치행렬이란? : https://hyomyo.tistory.com/17 경사하강법 : https://hyomyo.tistory.com/13 이전에는 X 즉, 학습 훈련집합의 종류가 하나였습니다. 수학적으로는 y = a + b*x 라는 것이죠. 하지만 만약 학습 훈련집합의 종류가 여러개라면 변수가 너무 많아질겁니다. y = a + b*x_1 + c*x_2 + d*x_3 ... 이런 길고 복잡한 식이 나오게 되는데, 수학의 "행렬"을 ..

이번 수업에서는 행렬의 역행렬과 전치행렬을 공부했습니다. 역행렬 역행렬의 개념을 알아가기 앞서서 예전에 배운 역수라는 것을 다시한번 짚어봅시다. 역수란, 0이아닌 어떤 특정한 수에대해 어떠한 수를 곱하면 1이되게하는 것이 역수입니다. 예를들어서 3의 역수는 1/3, 3/5의 역수는 5/3입니다. 1같은 경우는 1의 역수는 똑같이 1이기 때문에 1은 독자성(identity)라고 불립니다. (중요하진 않습니다) 이제 역행렬에대해 알아보겠습니다. 역행렬이 존재하기 위한 몇가지 조건이 있습니다. 첫 번째로 행과 열의 크기가 똑같은 m x m 행렬이여야 합니다. 예를들어 A를 위와같이 정의합시다. A의 역행렬은 A^-1과 같이 표현합니다. 그리고 역행렬의 정의는 다음과 같습니다. 위를 만족하는 행렬 A^-1이 역..

지금까지 공부한 선형회귀를 수식적으로 표현한 후에 Python으로 구현해볼려고 합니다. 아래의 수식들은 이전 포스팅에서 자세히 다뤘습니다. 바로가기 수알못의 머신러닝 공부 : 비용함수 수알못의 머신러닝 공부 : 경사하강법 일단 점들을 지나는 직선을 표현해보겠습니다. 그리고 오차를 구합니다. 위 수식의 오차는 쓸모가 없습니다. 이유는 만약, 2개의 데이터셋에서 오차가 각각 -1, 1이 나온다면, 오차들의 평균은 0이기때문에 적절한 오차를 구할 수 없습니다. 따라서 절댓값 혹은 제곱을 씌워줍니다. 절댓값은 미분 불가능한 점이 나올 수 있기때문에 제곱을 씌워줍니다. 그리고 데이터셋의 개수인 m으로 나누고, 미분하면 2가 떨어지니 1/2을 또 곱합니다. 비용함수를 구했습니다. 이제 비용함수의 극소값을 구하기 위..

저번 시간에는 비용함수에 대해서 공부했습니다. 다시 정리하지면, 비용함수는 "오차를 표현해주는 미분 가능한 함수" 입니다. 비용함수가 오차들의(제곱의)평균이므로 오차의 최소값을 구해야겠죠? 실제로 최소값(global minimum)을 구하는 것은 어려우니, 경사하강법으로 극소값(local minimum)을 구할 수 있습니다. 따라서 경사하강법은 비용함수의 극소값을 구하는 방법입니다. 경사하강법 Gradient descent 경사하강법은 특정한 점 x를 잡고, 비용함수의 기울기를 구한 후, 기울기에 따라서 x의 값을 변화시켜주는 방법입니다. 그림으로 쉽게 설명하겠습니다. 여기 단순한 y=x^2의 그래프가 있습니다. 그리고 이 그래프의 아무점, 예를들어서 7.5를 잡아본다고 하겠습니다. x = 7.5일 때,..

반복문은 프로그램이 특정한 패턴을 반복해서 연산할 때 쓰입니다. for 문 예를들어 Hello World를 100번 출력하고 싶으면, 코드를 100줄 써야하지만, 반복문을 쓰면 단 두줄로 끝낼 수 있습니다. for i in range(100): print("Hello World") 반복문도 조건문과 같게 콜론 ':'과 들여쓰기를 사용합니다. 반목분의 형태는, for 변수 in 리스트 형태로 구성되는데요, 리스트의 각각의 '요소'가 변수에 들어가면서 리스트의 '요소'의 갯수만큼 반복합니다. range()함수는 리스트를 자동으로 만들어주는 함수입니다. range(100)은 리스트를 0부터 100 미만인 99까지 100의 길이를 가진 리스트를 생성합니다. 즉, i는 100번 반복하면서 반복할 때마다 0부터 9..

안녕하세요, 효묘입니다. 요즘 앤드류 응 교수님의 강의를 들으면서 배운 내용을 블로그에 기록해보려고 합니다. 첫 번째로 쓸 내용은 비용함수입니다. Cost function 경제학에서, 비용함수는 어떤 생산량에서의 최소 생산비용을 대응한 함수이다. 이를 그림으로 나타낸 그래프를 비용곡선이라 한다. 고정 생산요소의 존재여부에 따라 장기와 단기 비용곡선을 나누며, 총비용함수 TC=TC(Q) 에서 한계비용함수와 평균비용함수를 유도한다.-wikipedia 위키피디아에서 뜻을 검색해봤는데 잘 모르겠네요. 아무튼 제가 이해한 방식으로 설명 해보겠습니다. 제가 서울에서 택시를 타고 이동하려고 합니다. 이때, 택시의 거리에 따른 값의 그래프를 그려보겠습니다. 거리에따른 택시 요금의 실제 데이터라고 가정합시다. 이 데이터..

머신러닝이라는 단어는 2016년 3월, 딥 마인드에서 만든 알파고가 이세돌 기사를 이기면서 대중들에게 익숙한 단어가 됐다. 머신러닝은 '기계 학습'라는 뜻인데, 이 단어의 정확한 정의는 아직 제대로 정의되지 않았다고 합니다. 머신러닝의 대표적인 종류에는 지도학습(Supervised learning), 자율학습(Unsupervised learning), 강화학습(reinforcement learning)이 있습니다. 지도학습 Supervised learning 첫 번째로 지도학습이란, 인공지능에게 문제와 답을 주고 학습하라고 명령하는겁니다. 강아지와 고양이의 사진을 인공지능에게 보여주고, 각각 강아지와 고양이라는 것을 학습시키는 것입니다. 이 학습방식을 분류(Classification)이라고 합니다. 땅의..

안녕하세요, 효묘입니다. 이번 포스팅에서는 관계연산자, 논리 연산자, 조건문, 그리고 문자열에대해 알려드리겠습니다. 관계 연산자 연산자 의미 == 같다. != 같지 않다. > (왼쪽이)크다. = (왼쪽이)크거나 같다. money : print("저런, 돈이 부족하네요.") elif chicken = 4: print("A학점 입니다") elif score >= 3: print("B학점 입니다.") elif score >= 2: print("C학점 입니다.") elif score >= 1: print("D학점 입니다.") else: print("F학점 입니다.") 학점 판단 프로그램 위 코드처럼 elif를 여러 개 쓸 수도 있습니다. 위 코드에 4를 입력하면 'A학점 입니다'가 출력 될 것이고, 첫 번째 i..