마침 예전에 1차 선형회귀법 관련한 답글을 올린 적이 있어서 이곳에 다시 옮겨놓았습니다.
참고하시기 바랍니다.
<인용시작/>
(0) 선형회귀법(Linear Regression)은
어떤 x, y 두개의 변수간의 상관 관계가 y=ax+b (혹은 x=(1/a)y-(b/a))와 같은 일차식의 관계가 있다고 보고 그 기울기(a)와 (b)를 찾아내는 것을 말합니다. 여기서 찾아낸 a, b를 1차수식 Parameter라고 합니다.
예를 들어 (x,y)의 데이터 쌍이 (1, 5), (2, 9), (3, 13), (4, 17)..와 같을 때 기울기와 y 절편을 찾아보려면 우선 이를 그래프용지에 그려보면 될 것입니다. 그래프를 그려서 기울기 4, y절편 1을 찾아내는 것이 선형 회귀법입니다. 이로부터 얻어진 직선의 방정식 y=4x+1은 바로 그 데이터 쌍으로부터 얻어진 "Linear(혹은 1st order) Regression Equation"이 됩니다.
이 수식이 얻어졌으면 임의의 x값에 대해 y 값을 추정해 낼 수 있습니다. 즉 (5,21), (100, 401),...등은 선형회귀법에 의해 추정되는 데이터 쌍인데 이들 점도 모두 (y=4x+1)의 직선상에 "기가막히게" 올라앉아 있게 됩니다.
(1) 실제의 데이터 쌍으로부터의 선형회귀법
실제의 데이터는 측정오차가 포함될 수도 있고 이론치로부터 약간 벗어나는 경우도 있으며 실제의 관계가 1차식으로 나타나지 않는 경우가 많습니다. 어쨋든 데이터 값이 예측되는 직선위에 정확히 놓여있지 않고 "직선 비스무리" 하게 데이터의 점들이 놓일 수 있습니다.
여기서 실제의 시스테이 직선이냐 직선이 아니냐가 중요한 것이 아니고 데이터 쌍들의 값이 실제로는 직선이 아닌데도 대체로 "직선 비슷한 관계가 있다"고 가정하여 1차식으로 만들어 나타내는 것을 모두 Linear Regression이라고 합니다.
특히 실제의 값들이 1차적 관계식이 아니더라도 "특정구간"에서는 직선적 관계가 있다고 간주해도 "무리"가 없는 경우에는 계산이 용이하기 때문에 Linear Regression Equation을 사용하는 경우가 많기 때문에 중요한 의미가 있습니다.
(2) Linear Regression 방법의 계산원리
위의 설명 (1)에서
실제의 데이터 n개의 데이터 쌍의 값을 (Xi, Yi), i = 1~n 이라고 하고 이들 값들로부터 Y = AX + B의 수식을 찾아내는 방법은 Y=AX+B의 수식에 X 대신 Xi값들을 대입해봐서 계산상으로 얻어지는 (AXi+B) 값과 실험데이터 값 Yi값은 차이가 있게 마련입니다. 이 차이값을 Error라고 하는데
i 점에서의 실험값과 Error값의 차이는 (오차)=(계산값-실험값)
Ei = (AXi+B)-Yi...................................................................(1)
i=1~n개의 데이터에 대해 수식(1)의 방법으로 Error를 계산해보면 +에러도 있고 -에러도 있게 마련입니다.
Regression Equation을 찾아내는 것은 바로 전 데이터 값에 대해 Error가 최소가 되도록 하는 직선을 찾아내는 것인데 ..
A, B를 찾아낸 후에는 상수가 되지만 찾아내기 전까지는 어떤 값이 될 지 모릅니다. <----이 부분이 중요합니다.
모든 실험데이터에 대해 Error를 구하여 최소가 되도록 하려면 각 데이터 점에서 (1)식으로 Error를 구한 다음 이를 제곱하여 더한 쓸모있는 수식을 만들어 냅니다.
SSE = Σ {(AXi+B)-Yi }^2 ...................................(2)
이 수식은 괴상망칙하게 생긴듯 하지만 잘 들여다 보면 별것이 아니라는 것을 알 수 있습니다. 즉 각 점에서의 Error값을 제곱하여 모두 더한 값이 됩니다. 수치해석이나 통계에서 언급하는 바로 "Sum of Squared Error"가 됩니다. 이 수식을 만들어 내는 이유는 각 점에서의 Error를 최소로 하려면 +Error거 -Error건 모두 양수로 만들고 또 Error 값을 확대경으로 키워들여봐서(즉 Error 값들을 제곱해서) 전체의 데이터 쌍에 대해 "골고루" 잘 들어맞는 "Regression Equation"을 찾아내기 위함입니다. 눈치 빠른 독자라면 금새 알아차리겠지요. 즉 (2)식으로 계산한 값이 최소가 된다면 그 Regression 수식은 아주 잘 들어맞는 (Best Fitting) 직선이 될 것이라는 생각말입니다.
그렇습니다 . 잘난놈(+errors)이건 못난놈(-errors)이건 잘 다스려서 평준화 잣대에 맞도록 하려면 확대경으로 키워보는 값들에서 Error가 최소가 되도록 하면 가장 "기가막힌" 직선이 얻어질 것입니다. 그런데 아직 문제가 남았습니다. A, B를 모르는데 어찌 Error를 구하겠는가 말입니다.
그래서 (2)식으로 나타낸 식을 요리조리 가공하여 A, B를 찾아내는 방법을 알아보고 실험값으로부터 A, B를 기술적으로 ("통계적으로", "수치적으로", "별로 신경쓰지 않고도 될 수 있도록") 찾아내는 방법을 알아보려는 것입니다.
그런데 여기서 말하는 그 "기술적" 이라는 것은 별것이 아닙니다. 이미 고등학교 수학시간에 배웠듯이 2차식으로 나타낸 방정식의 최소값은 그 방정식의 1차 미분값이 0이 되는 점에서 된다는 점입니다.
(Error를 제곱해 모두 더해놓고 그 Sum of Squared Error를 최소화 하기 위한 Parameter A, B를 찾아내는 방법을 통계분야에서는 Least-Squared-Error Method 라고 하는데 선형회귀법외에도 다른 방법의 회귀법에 모두 쓰이는 방법입니다. )
그런데 미분하려면 무엇에 대해 미분하고 무엇이 변수이고 무엇이 상수인가를 따져 봐야 합니다.
이미 "이 부분이 중요합니다" 라고 주의를 환기시켰다시피 Xi, Yi, 등의 값들은 실험값들이기 때문에 어설픈 값이긴 해도 분명히 상수값들이고, 엉거주춤 자리를 잡고 있는 A와 B는 아직 모르고 있기 때문에 여기서는 "변수들" 이라고 간주해서 미분해야 합니다.
방정식에 A, B가 있어서 방정식을 두개 얻어내야 변수 두개를 찾아낼 수 있습니다 . SSE를 각각 A와 B에 대해 편미분해서 얻어지는 두개의 수식은 두개의 방정식으로 훌륭할 것입니다. 먼저 변수 A,B 중 어느 하나를 상수로 가정하고 나머지 번수에 대해 미분하는 것을 편미분이라고 하지요. 한자가 어려워서 그렇지 영어로는 Partial Differentiation이라고 합니다.
우리나라에서 이를 번역했다면 "부분미분"이라고 했을터인데 일본에서 "편(치우칠 편)미분"이라고 번영한 것인데 제대로 용어를 만들었다고 보기 힘듧니다. 치우칠 편(偏)자는 중심으로부터 벗어난 것을 의미지요. 部分과 중심으로부터의 벗어남은 의미가 다르잖아요.
(3) 아직 모르는 값들인 A, B를 찾아내는 원리
위의 수식(2)를 각각 A, B에 대해 편미분(부분미분)하여 얻어지는 수식이 0이 되는 점에서 SSE라는 "기막힌"함수는 최소값을 가지게 될 것입니다. 두 변수에 대해 각각 편미분 하는 이유는 A값도 중요하고 B값도 중요하므로 각각의 의견을 모두 종합해서 "기막힌"함수의 값이 최소가 되도록 서로 서로 양보하도록 중재하기 위함입니다.
(이는 B에 관계없이 A가 얼마일 때 SSE가 최소가 되는가? 그리고 A와 관계없이 B가 얼마일 때 SSE가 최소가 되는가, 이 두조건을 공통적으로 만족시키는 A, B값을 찾아내기 위함입니다. )
dSSE/dA = 0, dSSE/dB =0 .....................(3 a,b)
dSSE/dA = Σ [2 {(AXi+B)-Yi } * Xi] = 0..............(4)...........{(AXi+B)-Yi }^2를 A에 대해 편미분한 값에 Σ를 붙인것
dSSE/dB = Σ [2 {(AXi+B)-Yi }] =0.. ...................(5)...........{(AXi+B)-Yi }^2를 B에 대해 편미분한 값에 Σ를 붙인것
위의 (4),(5)식을 연립으로 풀면 A와 B가 얻어집니다.
(참고로 위의 미분에서 Σ 로 나타낸 수식을 모두 i=1~n까지 풀어쓰고 각 항에 대해서 모두 편미분하여 정리하면 (4), (5)식이 됩니다. 시간여유가 많으므로 왜 그리 되는가 궁금하신 분은 직접 그리해보세요.)
(4) A, B의 계산방법
위의 (4)식을 고쳐서 풀어쓰면 Σ [{(AXi+B)-Yi } * Xi] = 0, A Σ(Xi^2) + B Σ (Xi) - Σ (Xi*Yi) =0 .......(6)
위의 (5)식을 고쳐서 풀어쓰면 Σ [{(AXi+B)-Yi }] = 0, A Σ(Xi) + B Σ (1) - Σ (Yi) =0 ................(7)
위 두개의 수식 (6), (7)에서 변수는 A, B이고 Σ 로 시작되는 항은 (모든 실험 데이터값들로부터 계산해야 하기 때문에 좀 복잡하기는 해도) 상수값입니다.
얘기가 나왔으니 Σ 값들을 계산 하면 다음과 같습니다.
Σ(Xi^2) ...각 Xi 데이터 값을 무조건 제곱해서 모두 더한 값
Σ (Xi) .......각 Xi 값을 단순히 더한 값
Σ (Yi).......각 Yi 값을 단순히 더한 값
Σ (Xi*Yi)...각 Xi, Yi 데이터 쌍의 값을 곱해서 더한 값
Σ (1)........각 항이 1인 값을 n개의 항에 대해 더한 값. 이값은 곧 1+1+...+1 = n즉 데이터쌍의 수효가 됩니다.
모두 이해했다면 이제 남는 것은 연립방정식의 풀이입니다. 윗 (6),(7)로부터 A, B를 구하는 수식을 만들어 내면 끝입니다.
A Σ(Xi^2) + B Σ (Xi) - Σ (Xi*Yi) =0 ....(6)
A Σ(Xi) + n B - Σ (Yi) =0..................(7')...... Σ (1) =n이 됨은 이미 설명했습니다.
우선 B가 들어있는 항을 소거하기 위해 (6)식의 각항에 n을 곱하고 (7')식에는 각항에 Σ (Xi)를 곱해 두면
n A Σ(Xi^2) + n B Σ (Xi) - n Σ (Xi*Yi) =0
A (Σ(Xi))^2 + n B Σ (Xi) - {Σ (Xi)}*{Σ(Yi)} =0
---------------------------------------------------------------------------------
A { n Σ(Xi^2)- (Σ(Xi))^2} = n Σ (Xi*Yi) - {Σ (Xi)}*{Σ(Yi)} ===>
따라서 A = [ n Σ (Xi*Yi) - {Σ (Xi)}*{Σ(Yi)} ] / [ n Σ(Xi^2)- (Σ(Xi))^2 ] .......(8)
마찬가지 방법으로 (6)식의 각항에 Σ(Xi)를 곱하고 (7')항의 각항에 Σ(Xi^2)를 곱해서 A항을 소거하면 B가 얻어집니다.
A {Σ(Xi^2)}{Σ(Xi)}+ B {Σ (Xi)}^2 - {Σ (Xi*Yi)}{Σ(Xi)} =0
A {Σ(Xi^2)}{Σ(Xi)}+ n B{Σ(Xi^2)} - {Σ (Yi)}{Σ(Xi^2)} =0
-----------------------------------------------------------------------------------
B [n {Σ(Xi^2)} - {Σ (Xi)}^2 ] = {Σ (Yi)}{Σ(Xi^2)} - {Σ (Xi*Yi)}{Σ(Xi)}
따라서 B = [ {Σ (Yi)}{Σ(Xi^2)} - {Σ (Xi*Yi)}{Σ(Xi)} ] / [n {Σ(Xi^2)} - {Σ (Xi)}^2 ] ....(9)
위에서 A값이 얻어진 후라면 (7') 식에 대입하여 B를 직접 구해도 됩니다.
즉 B = (1/n) [ Σ(Yi) - A Σ (Xi) ] .............................(10)
(5) 결론적으로
위의 수식들은 복잡한 것 같지만 n개의 데이터 쌍을 이용하여 (4)항에서 설명한 Σ값들을 각각 구하여
Y= AX + B 라는 모델 식의 Parameter A, B값을 (8)~(10)식으로부터 계산하는 것이지요
공학용 계산기나 통계용 계산기의 기능중에는 데이터 쌍을 n개 입력하여 A,B를 구할수 있는 도구가 마련되어 있습니다.
아니면 엑셀의 표를 이용하거나 그래프그리기를 이용해서 "추세선"을 간단히 구할 수도 있습니다.
이들 도구나 공식을 무턱대고 사용하는 것보다 원리를 이해하고 사용하는 것을 권장합니다 .
(6) 추가질문에 대한 답변..
i)찻수가 높다고 반드시 잘 맞는 것이 아니고 모델 수식은 제몸에 맞는 것이 제격입니다.
ii)고차의 다항식으로 나타낸 모델인 경우 찻수가 높을수록 SSE를 적게 하지만 고차수식이 더 잘 들어맞는 것은 아닙니다.
iii)직선이면 되는 회귀식을 일부러 곡선으로 만드는 것도 이상하지만
곡선을 직선으로 해도 이상한 경우가 많습니다.
iv)결국 모델 수식은 격에 맞는 것을 선택하는 것이 옳습니다.
</인용끝.
