Hai hai sobat Exsight, masih ingat gak nih, pada beberapa artikel yang lalu, kita pernah membahas tentang artikel Regresi Spline, apa sih itu?. Melanjutkan dari artikel yang sebelumnya, kita akan membahas lebih lanjut pengembangan dari Regresi Spline, yaitu MARS (Multivariate Adaptive Regression Spline).
Definisi
Multivariate Adaptive Regression Spline (MARS) adalah pendekatan untuk regresi multivariat nonparamterik yang
dilakukan untuk mengatasi permasalahan dimensi yang tinggi dan diskontiunitas pada data, sehingga menghasilkan prediksi variabel respon yang akurat. Metode MARS tidak memerlukan asumsi tentang hubungan fungsional yang mendasar antara variabel respon dan prediktor.
Multivariate Adaptive Regression Splines (MARS) merupakan salah satu teknik dalam analisis regresi yang dirancang khusus untuk menangani kompleksitas dalam data. MARS menggabungkan konsep regresi spline dengan proses adaptasi multivariat untuk membangun model regresi yang lebih fleksibel dan mampu menyesuaikan diri dengan pola yang rumit dalam data. Dengan menggunakan metode MARS, kita dapat mengatasi tantangan yang sering dihadapi ketika melakukan analisis data, seperti pola non-linear, interaksi antara variabel, dan data yang outlier, tanpa harus mengasumsikan bentuk tertentu dari hubungan antara variabel. Hal ini menjadikan metode MARS efektif dalam analisis data khususnya dalam penanganan data yang kompleks dan bervariasi.
Konsep Dasar Multivariate Adaptive Regression Spline (MARS)
Ada beberapa hal yang perlu diperhatikan dalam membangun model MARS, diantaranya yaitu sebagai berikut:
- Knot
Knot merupakan akhir sebuah garis regresi (region) dan awal sebuah garis (region) yang lain. Pada setiap titik knot diharapkan adanya kontinuitas dan fungsi basis satu region dengan region lainnya. - Basic Function
Basic Function merupakan suatu fungsi yang digunakan untuk menjelaskan hubungan antara variabel respon dan variabel prediktor. Basic Function dapat diartikan sebagai sekumpulan fungsi yang digunakan untuk mempresentasikan infromasi yang terdiri atas satu atau lebih variabel termasuk interaksi antar variabel. Suatu fungsi basis adalah jarak antar knot yang berurutan
Model umum persamaan Multivariate Adaptive Regression Splines (MARS) dapat dirumuskan seperti pada persamaan 1 sebagai berikut.
\hat{f}\left ( x \right )=\alpha _{0}+\sum_{m=1}^{M}\alpha _{m}\prod_{k=1}^{K_{m}}\left [ S_{km}\cdot \left ( x_{v\left ( k,m \right )} \right )-t_{m} \right ]_{+}\begin{matrix}
dengan:\\
\alpha _{0}\, =Parameter\, fungsi\, basis\, induk\\
\alpha _{m}\, =Parameter\, dari\, fungsi\, basis\, ke-m\\
M\, =Maksimum\, fungsi\, basis\, \left ( \mathit{nonconstant} \,fungsi\, basis\right )\, \\
K_{m}\, =Derajat\, interaksi\\
S_{km}\, =Nilainya\, \pm \, 1\, jika\, data\, berada\, di\, sebelah\, kanan\, titik\, knot\, atau\, di\, kiri\, titik\, knot\\
x_{v\left ( k,m \right )}\, =Variabel\, prediktor\\
t_{km}\, =Nilai\, knot\, dari\, variabel\, prediktor\, x_{v\left ( k,m \right )}
\end{matrix}Berdasarkan persamaan di atas, maka model MARS dapat dituliskan pula pada persamaan 2 sebagai berikut.
\hat{f}\left (\mathbf{x} \right )=\alpha _{0}+\sum_{m=1}^{M}\alpha _{m}B_{m}\left ( \mathbf{x} \right )dengan\, B_{m}\left ( x \right )=\prod_{k=1}^{K_{m}}\left [ S_{km}\left ( x_{v\left ( k,m \right )}-t_{km} \right ) \right ]Apabila dituliskan dalam bentuk matriks, maka dapat dituliskan menjadi:
\mathbf{y}=\mathbf{B}\alpha +\mathbf{\varepsilon }dimana\, y=\left ( y_{i},\cdots,y_{n} \right )^{T},\, \alpha =\left ( \alpha _{0},\cdots ,\alpha _{m} \right )^{T},\, \varepsilon =\left ( \varepsilon _{1},\cdots ,\varepsilon _{m} \right )^{T}B=\begin{bmatrix}
1 & \prod_{k=1}^{K}\left [ s_{1m}\left ( x_{1\left ( 1m \right )} \right )-t_{m} \right ] & \cdots & \prod_{k=1}^{K_{M}}\left [ s_{Mm}\left ( x_{1\left ( Mm \right )} -t_{Mm}\right ) \right ]\\
1 & \prod_{k=1}^{K}\left [ s_{1m}\left ( x_{2\left ( 1m \right )} \right )-t_{m} \right ] &\cdots &\prod_{k=1}^{K_{M}}\left [ s_{Mm}\left ( x_{2\left ( Mm \right )} -t_{Mm}\right ) \right ] \\
\vdots &\vdots &\ddots &\vdots \\
1 & \prod_{k=1}^{K}\left [ s_{1m}\left ( x_{n\left ( 1m \right )} \right )-t_{m} \right ] &\cdots & \prod_{k=1}^{K_{M}}\left [ s_{Mm}\left ( x_{n\left ( Mm \right )} -t_{Mm}\right ) \right ]
\end{bmatrix}Metode MARS memiliki keunggulan dalam penentuan titik knot secara otomatis oleh data dan menghasilkan model yang kontinu pada knot. Penentuan lokasi titik knot dan jumlah peubah ditentukan berdasarkan pada data dengan menggunakan kriteria lack-of-fit (LOF).
Kriteria lack-of-fit (LOF) mengukur seberapa baik model yang dibangun sesuai dengan data aktual. Semakin kecil nilai LOF, semakin baik model tersebut sesuai dengan data. Titik knot yang dipilih seharusnya menghasilkan model spline yang memiliki LOF yang rendah. Dalam praktiknya, penentuan titik knot pada metode MARS melibatkan proses iteratif di mana titik knot diatur dan model dievaluasi berdasarkan kriteria seperti LOF. Titik knot yang optimal adalah titik di mana LOF mencapai nilai minimum atau mendekati nol, menunjukkan bahwa model spline memiliki kesesuaian yang baik dengan data yang diberikan.
Metode MARS menentukan titik knot mengunakan algoritma forward stepwise dan backward stepwise. Forward stepwise dilakukan untuk mendapatkan fungsi dengan jumlah fungsi basis maksimum. Kriteria pemilihan fungsi basis pada forward stepwise adalah dengan meminimumkan kriteria lack-of-fit.
Untuk memenuhi konsep parsemoni (model sederhana) dilakukan backward stepwise dengan membuang basis fungsi yang memiliki kontribusi kecil terhadap respon dari forward stepwise hingga tidak ada fungsi basis yang dapat dikeluarkan. Adapun untuk tahap backward stepwise digambarkan dalam tiga langkah, yaitu menentukan fungsi basis yang harus dihapus dari model, menghapus fungsi basis yang telah ditentukan, dan menentukan model akhir. Fungsi basis yang kontribusinya terhadap nilai dugaan terkecil akan dihilangkan. Ukuran kontribusi yang digunakan dalam tahap backward stepwise adalah nilai Generelized Cross Validation (GCV)
Perlu diperhatikan bahwa dalam pemilihan model paling optimum (terbaik) dalam model MARS adalah jika nilai GCV dari model tersebut memiliki nilai GCV yang paling rendah (minimum) di antara model-model lain.
Perbedaan Antara MARS dan Spline
Terdapat beberapa perbedaan mendasar antara metode Multivariate Adaptive Regression Splines (MARS) dan metode regresi Spline diantaranya adalah:
| No | Perbedaan | Spline | MARS |
| 1. | Konstruksi Model | Model dibangun dengan menggunakan fungsi spline untuk memodelkan hubungan antara variabel independen dan variabel dependen. Fungsi spline ini terdiri dari segmen-segmen polinomial yang terhubung secara mulus pada titik-titik yang disebut sebagai “titik knots“. Pemilihan jumlah dan posisi titik knots ini dapat memengaruhi bentuk keseluruhan model. | MARS menggabungkan regresi spline dengan proses adaptasi multivariat. Model MARS dibentuk melalui iterasi adaptif, dimulai dengan model awal yang terdiri dari fungsi-fungsi spline sederhana. Selanjutnya, model ini disesuaikan secara iteratif dengan menambah atau menghapus fungsi-fungsi spline serta menyesuaikan koefisien-koefisiennya. Proses adaptasi ini memungkinkan model MARS untuk menyesuaikan kompleksitasnya sesuai dengan pola dalam data, tanpa harus memilih titik knots sebelumnya. |
| 2. | Proses Adaptasi | Dalam regresi spline, penentuan jumlah dan posisi titik knots biasanya dilakukan sebelumnya dan tidak mengalami perubahan selama proses pembentukan model. Hal ini berarti menunjukkan bahwa kompleksitas model cenderung tetap konstan. | MARS mengadopsi proses adaptasi iteratif. Model awal dibangun dengan sedikit fungsi-fungsi spline, dan kemudian model tersebut disesuaikan secara bertahap dengan menambah atau menghapus fungsi-fungsi spline serta menyesuaikan koefisien-koeffisiennya. Proses adaptasi ini memungkinkan MARS untuk menyesuaikan model secara dinamis terhadap pola yang kompleks dalam data. |
| 3. | Kemampuan Menangani Interaksi | Apabila terdapat interaksi antara variabel, interaksi tersebut harus didefinisikan dan dimasukkan secara manual ke dalam model. | MARS memiliki kemampuan secara otomatis menangani interaksi antara variabel independen. Proses adaptasi MARS memungkinkan model untuk menyesuaikan diri terhadap interaksi yang kompleks secara dinamis, tanpa perlu spesifikasi manual dari interaksi tersebut. |
Kelebihan dan Kelemahan
Terdapat beberapa kelebihan dan kelemahan dari Multivariate Adaptive Regression Spline diantaranya adalah sebagai berikut.
Kelebihan
- Fleksibilitas
MARS mampu menangani berbagai jenis pola non-linear dan interaksi antara variabel, membuatnya cocok untuk data yang kompleks. - Interpretabilitas
Model MARS menghasilkan aturan sederhana yang mudah dipahami, memungkinkan interpretasi yang lebih mudah oleh pengguna. - Efisiensi komputasi
Algoritma MARS cenderung lebih cepat daripada beberapa metode regresi non-linear lainnya, membuatnya cocok untuk analisis data besar. - Toleransi terhadap data yang tidak teratur
MARS dapat menangani data yang tidak teratur atau memiliki banyak pencilan tanpa mempengaruhi kinerja model secara signifikan.
Kelemahan
- Sensitif terhadap pengaturan parameter
Hasil dari model MARS dapat bervariasi tergantung pada pengaturan parameter yang dipilih, seperti jumlah knot dan tingkat kompleksitas. - Kemungkinan overfitting
Seperti halnya dengan banyak metode regresi non-linear, MARS rentan terhadap overfitting jika tidak diatur dengan baik, terutama pada dataset kecil. - Keterbatasan dalam menangani ketergantungan spasial
MARS cenderung kurang efektif dalam menangani pola spasial dalam data, seperti yang sering terjadi dalam masalah prediksi geografis. - Interpretasi yang rumit pada model yang kompleks
Meskipun MARS menghasilkan aturan yang mudah dipahami, model MARS dapat menjadi sangat kompleks dan sulit untuk diinterpretasikan dengan baik, terutama jika melibatkan banyak variabel dan interaksi.
Penerapan MARS dalam Berbagai Bidang
Metode Multivariate Adaptive Regression Splines (MARS) memiliki aplikasi yang luas dalam berbagai bidang. Berikut adalah beberapa contoh penerapan MARS:
A. Keuangan dan Ekonomi
MARS dapat digunakan untuk memprediksi harga saham, nilai tukar mata uang, atau kinerja keuangan perusahaan berdasarkan faktor-faktor ekonomi yang kompleks.
B. Pemasaran
Dalam pemasaran, metode Multivariate Adaptive Regression Splines (MARS) dapat digunakan untuk memprediksi perilaku konsumen, seperti keputusan pembelian atau respons terhadap kampanye pemasaran, berdasarkan berbagai faktor seperti demografi, preferensi, dan perilaku sebelumnya.
C. Ilmu Kesehatan
Multivariate Adaptive Regression Splines (MARS) dapat diterapkan dalam pengembangan model prediktif untuk diagnosis penyakit, prediksi hasil klinis, atau estimasi risiko kesehatan individu berdasarkan faktor-faktor yang kompleks seperti riwayat kesehatan, genetik, dan gaya hidup.
D. Bidang Teknologi dan Teknik
MARS dapat digunakan dalam pengembangan model prediktif untuk peramalan permintaan, estimasi keausan mesin, atau prediksi kinerja sistem teknik berdasarkan faktor-faktor yang kompleks seperti kondisi operasional, suhu, atau kelembaban.
E. Sains dan Sosial
Dalam sains sosial, MARS dapat digunakan untuk memahami hubungan antara variabel-variabel kompleks seperti pendapatan, pendidikan, dan status sosial dengan perilaku atau keputusan masyarakat.
Referensi
Sekian penjelasan terkait Multivariate Adaptive Regression Spline. Apabila masih ada yang dibingungkan bisa langsung saja ramaikan kolom komentar atau hubungi admin melalui tombol bantuan di kanan bawah. Stay tuned di website https://exsight.id/blog/ agar tidak ketinggalan artikel-artikel menarik lainnya. Bye bye!
