Tugas Seleksi Ca-IRK 2018 Membuat algoritma linear regression dari 0.
- Felicia Gillian Tekad Tuerah
- 13518070
Seperti yang telah dipelajari pada mata kuliah Probabilitas dan Statistika, terdapat suatu algoritma yang bernama Regresi Linier (Linear Regression). Akan dibuat sebuah algoritma Regresi Linear versi saya sendiri dan algoritma tersebut akan digunakan untuk memproses dataset!
Pada pengerjaan tugas ini, saya menggunakan beberapa library yakni
- numpy (untuk memproses operasi array)
- pandas (untuk memproses dataframe)
- matplotlib (untuk melakukan plotting)
- sklearn (untuk memisahkan data menjadi data test dan data train)
Pada pembuatan algoritma regresi linier ini, saya menggunakan prinsip Least Squares for Multiple Regression. Diberikan sebuah persamaan linear sebagai berikut:
Keterangan :
- y : variabel tak bebas
- xi : variabel bebas
- Bi : koefisien regresi dari variabel bebas ke-i
- E : error
Persamaan linear di atas, bisa diubah menjadi persamaan matriks sebagai berikut :
Sehingga bisa dipisah menjadi tiga buah matriks sebagai berikut:
Dengan menggunakan rumus dan kaidah matriks diperoleh hasil dari koefisien regresi dari variabel bebas ke-i adalah sebagai berikut:
Dengan mengetahui hasil dari koefisien regresi tiap variabel bebas, maka kita bisa melakukan estimasi terhadap nilai y sesuai dengan masukan x yang merupakan variabel bebas.
Kode saya terbagi atas dua buah modularitas yakni :
- regression.py Modul ini, terdiri atas tiga buah methods yang membantu dalam perhitungan koefisien regresi dan juga melakukan estimasi terhadap variabel bebas.
- multiplyMatrix digunakan untuk melakukan operasi perkalian terhadap dua buah matriks.
- koefRegression digunakan untuk mengembalikan array of koefisien (B)
- multipleLinearRegression digunakan untuk mengembalikan hasil prediksi dari masukan variabel bebas x.
- Regresi.ipynb Modul ini memanggil fungsi multipleLinearRegression yang terdapat dalam modul pertama dan menampilkan proses-proses pengolahan data-set serta menampilkan perbandingan antara data hasil estimasi dengan data sesungguhnya dan juga garis regresi linear yang terbentuk.