Regresi Linear

Garis Regresi atau Garis Best-Fit

Titik-titik pada diagram pencar membentuk pola yang menyerupai garis lurus. Apabila diagram pencar menunjukkan adanya korelasi antara dua variabel, dapat dilakukan penarikan garis dari titik-titik pada diagram tersebut. Di antara semua garis yang mungkin ditarik, terdapat satu garis yang paling sesuai dalam menggambarkan hubungan antara kedua variabel. Garis tersebut dikenal sebagai garis regresi atau garis best-fit. Persamaan garis regresi sederhana umumnya dituliskan dalam bentuk umum berikut ini.

$$\hat{y} = mx + c$$

• dengan $\hat{y}$ = nilai variabel dependen yang diprediksikan
• $x$ = nilai variabel independen
• $m$ = koefisien regresi (gradien garis regresi)
• $c$ = konstanta (nilai $\hat{y}$ jika $x = 0$)

Metode Kuadrat Terkecil

Salah satu metode yang digunakan dalam penentuan garis regresi adalah metode kuadrat terkecil. Prinsip dasar dari metode ini adalah meminimalkan jumlah kuadrat residu. Residu didefinisikan sebagai jarak vertikal antara titik data dengan garis regresi.

Nilai dari residu adalah sebagai berikut.

$$\text{Residu } (\varepsilon) = y - \hat{y}$$

• dengan $y$ = nilai variabel dependen yang diamati
• $\hat{y}$ = nilai variabel dependen yang diprediksi

Untuk memperoleh garis regresi yang optimal, diperlukan upaya meminimalkan jumlah residu. Namun, karena residu dapat memiliki nilai positif maupun negatif, penjumlahan residu dapat menghasilkan nilai nol. Padahal, kenyataannya terdapat beberapa residu yang memiliki jarak cukup jauh dari garis regresi. Oleh karena itu, untuk mengatasi permasalahan tersebut, dilakukan pengkuadratan terhadap setiap residu.

Jumlah kuadrat dari residu adalah sebagai berikut,

$$SS = \varepsilon_{1}^{2} + \varepsilon_{2}^{2} + \varepsilon_{3}^{2} + \varepsilon_{4}^{2} + \dots + \varepsilon_{n}^{2}$$

$$= \sum_{i=1}^{n} \varepsilon_{i}^{2} = \sum_{i=1}^{n}(y_i - \hat{y}_i)^{2} = \sum_{i=1}^{n}(y_i - mx_i - c)^{2}$$

Proses meminimalkan jumlah kuadrat residu dapat dilakukan melalui teknik diferensiasi. Meskipun demikian, prosedur diferensiasi tidak akan dijelaskan secara rinci karena memerlukan pemahaman Kalkulus Lanjutan yang umumnya dipelajari pada jenjang pendidikan universitas. Hasil dari proses diferensiasi tersebut akan menghasilkan estimasi nilai m dan c pada persamaan garis regresi, sehingga diperoleh bentuk persamaan garis regresi sebagai berikut.

$$\hat{y} - \bar{y} = \dfrac{s_{xy}}{s_{x}^{2}}(x - \bar{x})$$

dengan:

• $\bar{x}$ = rata-rata nilai x
• $\bar{y}$ = rata-rata nilai y
• $s_{xy}$ = kovariansi dari x dan y
• $s_{x}$ = standar deviasi dari x

$$\begin{aligned} &s_{xy} = \dfrac{\sum (x - \bar{x})(y - \bar{y})}{n} \\[4pt] &\text{atau}\quad s_{xy} = \dfrac{\sum xy}{n} - \bar{x}\bar{y} \end{aligned}$$

$$\begin{aligned} &s_{x} = \sqrt{\dfrac{\sum (x - \bar{x})^{2}}{n}} \\[4pt] &\text{atau}\quad s_{x} = \sqrt{\dfrac{\sum x^{2}}{n} - \bar{x}^{2}} \end{aligned}$$

Dengan menggunakan rumus jumlah kuadrat selisih, diperoleh:

$$\hat{y} - \bar{y} = \dfrac{SS_{xy}}{SS_{xx}}(x - \bar{x})$$

dimana:

• $SS_{xy}$ = jumlah perkalian antara selisih variabel independen x terhadap rata-ratanya dan variabel dependen y terhadap rata-ratanya
• $SS_{xx}$ = jumlah kuadrat selisih variabel independen x terhadap rata-ratanya

$$\begin{aligned} &SS_{xy} = \sum (x - \bar{x})(y - \bar{y}) = \sum xy - \dfrac{\left(\sum x\right)\left(\sum y\right)}{n} \\[4pt] &\text{atau}\quad SS_{xy} = \sum xy - n\bar{x}\bar{y} \end{aligned}$$

$$\begin{aligned} &SS_{xx} = \sum (x - \bar{x})^{2} = \sum x^{2} - \dfrac{\left(\sum x\right)^{2}}{n} \\[4pt] &\text{atau}\quad SS_{xx} = \sum x^{2} - n\bar{x}^{2} \end{aligned}$$

Interpolasi dan Ekstrapolasi

Garis regresi dapat digunakan untuk memprediksi data yang belum diketahui. Perhatikan diagram berikut.

Penggunaan garis regresi untuk memprediksi nilai yang berada didalam rentang data disebut interpolasi, sedangkan penggunaan garis regresi untuk memprediksi nilai yang berada di luar rentang data disebut ekstrapolasi.

Keakuratan interpolasi sangat bergantung pada linearitas data asli. Hal tersebut ini dapat diukur dengan menghitung koefisien korelasi serta memastikan bahwa data tersebar secara acak di sekitar garis regresi. Berbeda dengan interpolasi, keakuratan ekstrapolasi tidak hanya ditentukan oleh linearitas data asli, tetapi juga memerlukan asumsi bahwa hubungan linear tetap berlaku meskipun di luar rentang data. Validitas asumsi tersebut sangat bergantung pada konteks atau situasi yang sedang diteliti.