OLS, WLS dan GLS, apa bedanya?, sumber foto: dokpri.
Sebelum menginjak pada pembahasan wacana regresi, ada baiknya kita obrolkan soal metode estimasi parameter fungsi regresi. Dalam praktiknya, terdapat beberapa jenis metode estimasi parameter fungsi regresi, yaitu Ordinary Least Square (OLS), Generalized Least Square (GLS), Weighted Least Square (WLS) dan Maximum Likelihood Estimation (MLE). Untuk lebih fokus, kita bahas terlebih dahulu OLS, GLS dan WLS. Ketiga jenis metode estimasi ini perlu dieksplor lebih gamblang lagi mengingat terdapat literatur yang belum terang dalam hal membedakan ketiganya, khususnya GLS dan WLS.
Ordinary Least Square (OLS) merupakan metode estimasi yang umum dipakai dalam analisis regresi linier, baik sederhana maupun berganda. Metode ini ialah metode yang paling sering digunakan. Karakteristik dari OLS yang utama ialah adanya "Line of Best Fit" yang sanggup dimaknai sebagai jumlah kuadrat dari simpangan amatan atau titik observasi terhadap garis regresi minimum.
Dengan memakai OLS, penduga parameter regresi sanggup dihitung. OLS dalam hal ini berfungsi untuk mengetahui seberapa besar efek variabel bebas (Xi; i = 1, 2, 3, ... , n) terhadap variabel terikat (Y).
Meski demikian, syarat mutlak dalam memakai OLS ialah terpenuhinya semua uji perkiraan klasik yang pada potongan berikutnya akan kita bahas. Sebab, apabila salah satu uji perkiraan klasik terlanggar, maka estimator yang dihasilkan dengan metode OLS tidak lagi efisien dan tidak sanggup dipakai lantaran estimatornya tak lagi memenuhi sifat Best Linier Unbiased Estimator (BLUE). Persamaan regresi populasi secara garis besar sanggup dituliskan sebagai berikut.
Persamaan regresi populasi, sumber foto: dokpri.
Untuk menduga parameter alpha dan beta regresi populasi itu, maka kita gunakan regresi menurut sampel. Secara matematis sanggup kita tuliskan berikut.
Regresi sampel untuk menduga parameter, sumber foto: dokpri.
Kita perlu memahami bahwa untuk garis regresi dugaan, kita memakai tanda topi pada estimator parameter. Dari formula itu pula, kita juga harus memahami bahwa epsilon i berbeda dengan residu (eror i). Epsilon i kita sebut sebagai disturbance, yaitu sesuatu (kesalahan) yang tidak sanggup diamati (unobserved). Tetapi, eror i ialah kesalahan yang masih sanggup kita amati (observed). Dari mana? Kesalahan ini kita dapatkan dari selisih nilai amatan di sekitar garis regresi.
Meminimumkan jumlah kuadrat eror, sumber foto: dokpri.
Di dalam metode ini, diketahui bahwa jumlah dari eror sama dengan nol, buktikan!. Sehingga, untuk tetap sanggup diamati, kita menjumlahkan kuadrat simpangan atau eror ini. Metode OLS merupakan metode yang bertujuan meminimumkan jumlah kuadrat eror tersebut, maka kita mencari nilai alpha dan beta yang sanggup meminimumkan jumlah kuadrat eror.
Rumus meminimumkan jumlah kuadrat eror, sumber foto: dokpri.
Bagaimana caranya? Nah, kita sanggup meminimumkan jumlah kuadrat eror itu dengan menurunkan (diferensial) fungsi jumlah kuadrat eror terhadap alpha dan terhadap beta sedemikian sehingga sama dengan nol.
Rumus memilih penduga alpha dan beta metode OLS, sumber foto: dokpri.
Dari hasil penurunan fungsi tersebut, kita sanggup memilih penduga alpha dan penduga beta regresi.
Lantas, bagaimana untuk regresi yang memakai variabel bebas lebih dari satu?. Untuk menduga parameter regresi linier berganda, kita sanggup memakai OLS dengan matriks. Secara matematis, rumusan fungsi matriks dari regresi linier berganda sanggup dituliskan berikut.
Fungsi matriks regresi linier berganda, sumber foto: dokpri.
Tanda garis bawah mengatakan vektor sedangkan garis bergelombang mengatakan matriks dari variabel bebas. Dalam kondisi regresi linier berganda, jumlah kuadrat eror kita transformasi dalam matriks menjadi eror transpose eror.
Transformasi matriks jumlah kuadrat eror, sumber foto: dokpri.
Demikian halnya dengan perkalian persamaan matriks fungsi regresinya.
Diferensiasi fungsi jumlah kuadrat eror dengan matriks untuk OLS, sumber foto: dokpri.
Dengan cara menurunkan terhadap alpha dan beta untuk sanggup meminimumkan eror, maka kita dapatkan -2 X'y + 2X'Xb = 0. Dengan menghilangkan efek pengalih 2, kita dapatkan:
Rumus mencari penduga beta OLS dengan matriks, sumber foto: dokpri.
Dalam transformasi matriks ini, alpha sanggup kita pandang sebagai beta nol sehingga secara umum, estimator parameternya sanggup kita hitung dengan formula tersebut.
Sebuah model dalam kenyataannya tak harus memenuhi perkiraan klasik. Ada saja model kita yang secara riil tidak memenuhi uji perkiraan klasik, ini sebuah keniscayaan lantaran data yang kita dapatkan ialah data yang acak (random). Acak dalam artian tak mungkin kita "paksa" atau kita "buat" semoga bisa membentuk model yang sempurna. Dalam kondisi tertentu, yang paling sering terjadi pada model kita mengalami gangguan heteroskedastisitas (materi ujinya sanggup dibaca di sini), autokorelasi (dapat dipahami di sini), atau mengalami kedua-duanya.
Gangguan heteroskedastisitas biasanya terjadi pada data cross section, sedangkan gangguan autokorelasi (korelasi serial) biasanya terjadi pada data runtun waktu (time series).
Weighted Least Square (WLS) ialah satu metode estimasi parameter regresi dikala dalam memakai OLS, ternyata terganggu oleh heteroskedastisitas. Pada kondisi heteroskedastisitas, perkiraan varians sigma kuadrat Identitas berubah untuk setiap regresi sampel atau amatan sehingga kita memerlukan sebuah penimbang (pembobot) atau weighted, katakanlah matriks V yang dituliskan sebagai berikut.
Matriks varians WLS, sumber foto: dokpri.
Dengan memakai penimbang tersebut, maka penduga parameter regresi sanggup kita tentukan. Kendati WLS ini mempunyai kegunaan untuk menghilangkan gangguan heteroskedastisitas, namun kelemahannya ialah kita harus mengetahui penimbang (weighted) untuk setiap unit atau amatan kita. Penimbang itu tak bisa kita tentukan begitu saja, namun haruslah mempunyai dasar yang kuat, contohnya kita dapatkan dari beberapa pengamatan sebelumnya, atau sanggup pula kita tentukan menurut pengalaman empiris sebelumnya.
Kemudian kita beranjak pada penggunaan metode Generalized Least Square (GLS). Metode GLS ini biasanya dipakai dikala model mengalami gangguan heteroskedastisitas dan autokorelasi, biasanya dua gangguan ini terjadi pada data panel, lantaran data panel merupakan data adonan cross section dan data runtun waktu (time series).
Matriks varians-kovarians GLS, sumber foto: dokpri.
Perbedaan matriks varian-kovarians antara metode WLS dan GLS ialah pada nilai koraviansnya. Pada matriks varians-kovarians WLS, tidak terdapat kovarians lantaran memang tak ada gangguan autokorelasi, sedangkan pada GLS, terdapat nilai kovarians tidak sama dengan nol.
Dengan memakai cara yang sama, kita lalu mendapat sebuah matriks Ohm menyerupai pada gambar dan nilai penduga parameter regresinya sanggup kita tentukan dengan memakai nilai invers (kebalikan) dari matriks varians-kovarians tersebut.