데이터 사이언스 인터뷰(1)

• p-value란 무엇인가?

귀무가설이 맞다는 전제 하에 표본에서 실제로 관측된 통계치와 같거나 더 극단적인 통계치가 관측될 확률. 
P-value는 내가 뽑은 표본평균이 귀무가설에 따라 나올 확률이 몇 %가 되었는가를 찾는 방법이다

예를 들어 두 표본 평균의 차이를 검증한다고 할 때, 두 표본 집단의 모집단이 같다는 가정을 전제하여 통계를 진행한다.

 

• R-Square의 의미는 무엇인가?

결정계수라고 불리며, 회귀모형의 설명력을 표현한 것. 0에 가까울수록 설명력이 낮고, 1에 가까울수록 높다. 

R-squred는 1-SSE/SST(SSR/SST)로 구할 수 있으며, SST는 Sum of squre Total이며, SSE는 Sum of squre of error이다.  SST는 실제값과 예측값, 평균값 사이에 발생한 차이이며, SSE는 회귀식과 실제값의 차이를 의미한다. 

SSR은 Sum of square Regression으로, 회귀식과 평균값의 차이이다. 즉, SSR이 높아질수록 R-Squred는 높아진다. 

 

• missing value가 있을 경우 어떻게 처리해야하는가?

가장 크게는 2가지로 나눌 수 있다. 1) 제거하거나, 2)채우거나.

제거의 경우 결측치가 존재하는 전체 행을 삭제하거나 단일값을 삭제하는 방법이 있다.

반면 채우고 보간하는 경우 평균/중앙값/예측값등을 추가하곤 한다. 

 

• 상관관계와 인과관계에 대해 설명하라

인과관계는 특정한 사건이 다른 사건에 직접적으로 영향을 주는 것을 의미한다. (ex/물에 열을 가하면, 끓는다.)

상관관계는 두 가지 사건에 연관성이 존재하는 상태임을 의미한다.

그러나 이러한 연관성에 있어 원인이 존재하고 그에 따른 결과인지는 알 수 없다. 

인과관계는 상관관계에 포함되는 관계이다. 

 

• Cost function이란?

실제값과 예측값에 대한 오차에 대한 식. 또한 비용 함수는 오차 표현에서 나아가 예측값의 오차를 줄이는 일에 최적화된 식이어야 한다. 회귀문제의 경우, MSE가 사용된다. 이러한 문제 상황에서, 선형 회귀를 포함한 다양한 머신러닝, 딥러닝에서의 학습은 비용함수를 최소화하는 매개변수인 W(가중치)와 b를 찾는 작업을 수행해야한다. 

 

이때 사용되는 알고리즘을 Optimizer, 최적화 알고리즘이라고 부른다. 그중에서도 가장 기본적인 알고리즘으로 

경사하강법(Gradient Descent)가 있다.

 

가중치 W만을 사용한 y=Wx라는 가설을 가지고 경사하강법을 수행했을 때, W와 cost(W)와의 관계는 다음과 같다. 

 

기울기 W가 무한대로 커지면 cost의 값 또한 무한대로 커지고, 반면 W가 무한대로 작아져도 cost의 값은 무한대로 커진다. 모델이 해야하는 일은 cost가 가장 최소의 값을 가지게 하는 W를 찾는 일이다.

 

cost function

 

기계는 임의의 랜덤값 W값을 정한 후 가장 최소값인 cost를 향해 W값을 수정한다. 가장 최소값에 가까울 경우 기울기는 0이 되며, 비용함수는 다음과 같다. 

 

Cost function 

 

그리고 비용을 최소화하는 W를 구하기위해 w를 업데이트하는 공식은 다음과 같다. 

 

 

그러나 classification에서는 비용함수로 MSE를 사용하지 않는다. 그 이유는 시그모이드 함수에 비용함수를 평균제곱오차로 하여 그래프를 그리면 다음과 같은 형태가 되기 때문이다. 로지스틱 회귀에서 MSE를 Cost function으로 사용하면, GCD사용시 잘못된 최소값에 빠질 수 있다. 

 

 

결론적으로 로지스틱 회귀에서 찾아낸 비용함수를 Cross entropy 함수라고 하며, 소프트 맥스 회귀의 비용함수이기도 하다. 

 

• one-hot encoding이란? 

원-핫 인코딩은 단어를 표현하는 가장 기본적인 표현 방법이다. 원-핫 인코딩은 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고자 하는 단어의 인덱스에 1을, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식이다.