Hai hai sobat Exsight, dalam metode statistika, tentunya sobat Exsight sudah tidak asing dengan metode regresi. Metode regresi digunakan untuk memahami hubungan antara satu atau lebih variabel independen (prediktor) dan variabel dependen (respon). Seiring berkembangnya ilmu pengetahuan, regresi juga mengalami perkembangan, salah satunya yaitu Regresi Ridge.
Pada artikel ini, akan dibahas lebih mendalam terkait Regresi Ridge, yuk simak dengan seksama yaa!
Definisi
Regresi Ridge merupakan suatu metode statistik yang digunakan dalam regresi linear untuk mengatasi masalah multikolinearitas dan overfitting pada regresi linier. Multikolinearitas terjadi ketika dua atau lebih variabel prediktor saling berkorelasi kuat, sehingga menyebabkan ketidakstabilan dalam perkiraan koefisien regresi dan menyebabkan kesulitan dalam menafsirkan hubungan sebenarnya antara variabel prediktor dan variabel respon.
Metode regresi Ridge pertama kali diperkenalkan oleh seorang ilmuwan statistik bernama Hoerl dan Kennard pada tahun 1970. Konsep utama dalam regresi Ridge yaitu memasukkan komponen regularisasi ke dalam fungsi objektif regresi linear. Regularisasi ini dikenal sebagai regularisasi L2 atau regularisasi Euclidean, dengan cara menambahkan jumlah kuadrat dari koefisien regresi ke dalam fungsi objektif. Tujuan dari adanya regularisasi yaitu untuk mencegah koefisien regresi yang terlalu besar, mengurangi efek multikolinearitas dan menghasilkan model regresi yang lebih stabil.
Perbandingan Antara Regresi Linier dan Regresi Ridge
Metode regresi linier dan regresi Ridge keduanya digunakan untuk memodelkan hubungan antara variabel prediktor dan variabel respon. Namun terdapat perbedaan mendasar antar kedua metode tersebut, yaitu sebagai berikut.
Regresi Linier
- Tujuan Utama
Regresi linier bertujuan untuk menemukan garis linear terbaik yang meminimalkan error antara data observasi dan garis regresi. - Penanganan Variabel Prediktor
Regresi linier dapat sensitif terhadap multikolinearitas, yaitu kondisi ketika variabel prediktor saling berkorelasi. - Resiko Overfitting
Regresi linier rentan terhadap adanya overfitting ketika terdapat banyak variabel prediktor atau ketika data berukuran kecil.
Regresi Ridge
- Tujuan Utama
Regresi Ridge bertujuan untuk mengatasi masalah multikolinearitas dan overfitting. - Penalti pada Koefisien
Regresi Ridge menerapkan penalti pada koefisien dengan memasukkan parameter regularisasi L2 (Euclidean) pada fungsi objektif regresi. - Resiko Overfitting
Regresi Ridge cenderung dapat mengurangi risiko overfitting.
Jadi dapat dikatakan bahwa Regresi Linier digunakan ketika tidak terdapat masalah multikolinearitas yang signifikan dan jumlah variabel prediktor relatif sedikit, sedangkan Regresi Ridge dapat digunakan ketika terdapat masalah multikolinearitas, data berukuran kecil, maupun ketika variabel prediktor cukup banyak, untuk menghindari overfitting.
Formula Matematis
Estimasi parameter model regresi Ridge dapat dijabarkan melalui formula matematis sebagai berikut.
\hat{\beta _{\lambda }}=\left ( X^{T}X+\lambda I \right )^{-1}X^{T}YBerdasarkan rumus di atas diketahui bahwa:
\begin{matrix}
\hat{\beta }=Parameter\, estimator\\
X=Variabel\, prediktor\\
\lambda =Nilai\, tetapan\, bias\\
I=Matriks\, identitas\\
Y=Variabel\, Respon
\end{matrix}Selanjutnya, berdasarkan persamaan rumus di atas dilakukan optimasi model regresi Ridge dengan cara meminimumkan nilai parameter beta, yaitu sebagai berikut.
minimize\left \| Y-X\beta \right \|_{2}^{2}+\lambda \left \| \beta \right \|_{2}^{2}\\ Berdasarkan persamaan rumus di atas
\left \| \cdot \right \|
menunjukkan regularisasi L2 (Euclidean) .
Regularisasi dalam Regresi Ridge
Regularisasi L2 (Euclidean) merupakan komponen utama dalam metode regresi Ridge. Regularisasi memiliki peran penting dalam mengatasi masalah multikolinearitas dan mengontrol kompleksitas model dalam regresi Ridge.
Regularisasi L2 (Euclidean) melibatkan penambahan jumlah kuadrat dari koefisien regresi ke dalam fungsi objektif regresi linear. Dalam konteks regresi Ridge, komponen ini dikenal sebagai “penalty L2” atau “norm L2.”
Keuntungan Regresi Ridge
Terdapat beberapa keuntungan dari regresi Ridge, yaitu sebagai berikut.
- Penanganan Multikolinearitas
Regresi Ridge efektif dalam mengatasi masalah multikolinearitas, yaitu kondisi ketika variabel prediktor saling berkorelasi. - Pencegahan Overfitting
Regresi Ridge membantu menghindari overfitting dengan cara mengurangi kompleksitas model. Regresi Ridge membatasi ukuran koefisien, metode ini mencegah model terlalu beradaptasi dengan data training dan dapat melakukan prediksi yang lebih baik pada data testing. - Stabilisasi Koefisien
Koefisien yang dihasilkan dari estimasi pada regresi Ridge lebih stabil dan konsisten dikarenakan adanya Regularisasi L2 (Euclidian). - Performa pada Dataset Kecil
Regresi Ridge memiliki performa yang baik pada dataset dengan ukuran kecil sehingga tepat digunakan ketika data terbatas. - Menghindari Solusi Tidak Stabil
Dalam beberapa kasus, regresi linier biasa dapat menghasilkan solusi yang tidak stabil atau memiliki varian yang tinggi. Regresi Ridge mengatasi masalah ini dengan menambahkan regularisasi L2 (Euclidian). - Fleksibilitas Aplikasi
Regresi Ridge dapat diterapkan di berbagai bidang, seperti ilmu sosial, ilmu alam, ekonomi, dan teknik.
Referensi
Sampai disini dulu penjelasan terkait Regresi Ridge. Jika masih ada yang dibingungkan bisa langsung saja ramaikan kolom komentar atau hubungi admin melalui tombol bantuan di kanan bawah. Stay tuned di website https://exsight.id/blog/ agar tidak ketinggalan artikel-artikel menarik lainnya.
