AI/Machine Learning

[ML] Loss Function, Cost Function, Object Function 차이

ML을 공부하면서 계속 등장하는 cost, loss 용어...모두의 딥러닝 강의에서도 이를 반복적으로 사용하는데 정확한 차이가 궁금해서 정리로 남긴다. 우리는 모델을 학습할 때 비용(cost) 즉, 오류를 최소화하는 방향으로 진행을 한다. 비용이 최소화되는 곳이 성능이 가장 잘 나오는 부분이며, 가능한 비용이 적은 부분을 찾는 것이 최적화(Optimization)이고 일반화(Generalization)의 방법이다. ​ 이 비용(cost) 혹은 손실(loss)이 얼마나 있는지 나타내는 것이 비용함수(cost function), 손실함수(loss function)이라고 할 수 있다​ 비용/손실을 표시하는 함수로는 다음 세가지 loss function, cost function, objective functi..

[Logistic Regression] What is Logistic Regression?

[TensorFlow] Lab-05-1 Logistic Regression 모두의 딥러닝 시즌 2 정리... 다음과 같은 그림이 있다고 하자. Logistic Regression 분류 기법 중의 하나로 동그라미, 세모와 같이 서로 다른 특징을 갖는 두 객체가 있을 때 이와 같은 도형들을 서로 분류하는데 사용하는 알고리즘이다. What is Logistic Regression? Classification What is Binary(Multi-class) Classification? variable is either 0 or 1 ( 0:positive / 1:negative) 먼저 classification 에 대해 알아보자. 다음과 같은 예시들이 있다. 시험의 경우 합격, 불합격 / 메일의 경우 정상 메일..

[Linear Regression] Multi variable linear regression

모두의 딥러닝 시즌 2 정리... 현재까지 학습한 linear regression은 다음과 같다. Hypothesis : 우리의 가설, 우리의 모델 Cost function : 우리의 예측과 실제의 차이를 제곱한 것의 평균. 제곱을 하는 이유는 마이너스를 배제하기 위해 Gradient descent : cost를 최소화하는 과정 => cost를 최소화하는 W, b를 찾는 과정. 즉, 학습 과정 Predicting exam score 예제로 시험의 점수를 예측하는 모델을 생각해보자. 아래의 그림은 입력이 1개이고 우리가 예측하려는 값도 1개이다. 이때 변수가 1개이고 이 변수를 Feature라고도 한다. regression using one input (x) One-variable(One-feature) ..

[Linear Regression] How to minimize cost

모두의 딥러닝 시즌 2 정리... 이전 글에서는 linear regression에 대한 개념을 알아보았다면 이번 글에서는 cost를 최소화하는 구체적인 방법과 알고리즘에 대해 좀 더 깊이 있게 살펴보도록 하겠다. [Linear Regression] 개념 부분에서 살펴본 Hypothesis와 cost에 대한 내용은 다음과 같다. 우리는 Hypothesis를 바탕으로 Cost 함수를 정의한 바 있다. 해당 cost 함수는 우리의 가설과 실제 데이터의 차이를 제곱한 값의 전체 합에서 데이터의 개수로 나눠서 도출한 평균 값이다. 위의 Cost 함수는 W, b에 대한 함수이고 이 W, b에 따라서 Cost의 결과값이 달라지게 된다. (우리의 가설과 실제 데이터의 차이를 Error라고 명칭하기도 한다.) 이때 이 ..

[Linear Regression] 개념

머신 러닝의 개념 중 지도학습(Supervised Learning)에 대하여 정리한 적이 있다. 그 중 머신러닝의 선형 회귀(Linear Regression)의 개념을 정리해보자. 회귀 분석(Regression Analysis) 먼저 회귀 분석이란 무엇인까? 회귀의 사전적인 의미는 "다시 예전의 상태로 돌아감" 을 의미한다. 이 용어는 영국의 유전학자 Francis Galton 이라는 분이 유전의 법칙을 연구하다 나온 것에 기인하게 되는데 대략적인 연구내용을 살펴보자면 부모와 자녀의 키 사이의 관계를 연구하면서 나오게 된 연구의 결과로 자녀의 키가 아버지 그리고 어머니 키의 평균을 조사하여 표로 나타낸 결과 결국 자녀의 키는 엄청 크거나 작은 것이 아닌 그 세대의 평균으로 돌아가려는 경향이 있다는 것을 ..

[ML] Machine Learning 이란?

글을 작성하기에 앞서 앞으로의 ML 관련 내용은 Deep Learning에 입문하기 위한 최소한의 지식을 작성하는 것을 우선 목표로 합니다. 1. 머신러닝(Machine Learning) 머신 러닝에 관련된 대표적인 인용문이 있다. Machine Learning : Fied of study that gives computers the ability to learn without being explicitly programmend. - Arthur Samuel(1959) 1950년, 아서 사무엘은 기계 학습은 "명시적으로 프로그램을 작성하지 않고 컴퓨터에 학습할 수 있는 능력을 부여하기 위한 연구 분야" 라고 정의하였다. 뭐 위의 정의만 보면 컴퓨터에게 학습 능력을 부여하는 것이라고는 하지만 정확히 뭘 어..

[ML] 지도학습과 비지도학습

1. 지도 학습(Supervised Learning) [ 지도 학습(Supervised Learning) ] 지도학습에 대한 정의를 먼저 알아보기 전에 지도학습의 예시가 되는 것들에 대해서 익히고 가도록 하겠습니다. 아래와 같은 그림에서 처럼 집의 가격에 대해 예측을 해본다고 가정합시다. 수집한 데이터 집합(Data Set)에 따라 작성한 그래프는 가로 축이 집의 크기이며, 세로축은 집들의 가격이라고 합시다. 이러한 상황에서 어떤 사람이 750 feet 의 집을 판매한다고 가정할 때 얼마를 얻을 수 있는지에 대해 우리에게 물어보았다고 합시다. 우리는 이 문제를 해결하기 위해서 ① 각각의 값들을 선형으로 근사하게 잇는 알고리즘을 떠올릴 수 있는데, 데이터집합에 대해 선형 함수를 만들어서 750 feet의 ..