Algoritma RProp (Resilient Back-Propagation)


Algoritma RProp (Resilient Back-Propagation) adalah salah satu algoritma berbasis jaringan saraf yang dapat digunakan untuk pengambilan keputusan. Contoh yang dibahas kali ini adalah mengenai penentuan penerimaan pengajuan kredit sepeda motor baru berdasarkan kelompok data yang sudah ada.
Algoritma ini merupakan pengembangan lebih lanjut dari Algoritma Back-Propagation. Algoritma ini memiliki beberapa keuntungan dibandingkan algoritma pendahulunya. Pertama, proses perhitungan yang lebih cepat. Kedua, tidak memerlukan parameter apapun dalam perhitungannya, karena algoritma pendahulunya memerlukan 2 parameter, yaitu rasio pembelajaran, dan momentum. Kerugian algoritma ini ada 1, yaitu implementasinya yang cukup rumit.



Diasumsikan ada 8 data pelanggan yang sudah diketahui datanya, yaitu Pelanggan A,B,C,D,E,F,G,H
Masing-masing pelanggan memiliki kriteria, yaitu umur, jenis kelamin, skor kepribadian, dan memiliki nilai hasil yaitu Diterima / Ditolak
Diasumsikan 8 data tersebut adalah sebagai berikut:

Pelanggan Umur Jenis Kelamin Skor Kepribadian Hasil
Pelanggan A 44 Laki-laki 3.55 Diterima
Pelanggan B 52 Perempuan 4.71 Diterima
Pelanggan C 60 Perempuan 6.56 Ditolak
Pelanggan D 56 Laki-laki 6.8 Ditolak
Pelanggan E 51 Laki-laki 6.94 Ditolak
Pelanggan F 46 Perempuan 6.52 Ditolak
Pelanggan G 48 Laki-laki 4.25 Diterima
Pelanggan H 58 Perempuan 5.71 Diterima

Contoh data pelanggan awal adalah sebagai berikut:
Untuk Kriteria Jenis Kelamin:
Laki-laki dilambangkan dengan angka -1
Perempuan dilambangkan dengan angka +1
Untuk kriteria Nilai Hasil:
Terdapat 2 kolom untuk merepresentasikan kondisi Diterima dan Ditolak
Jika kondisi Diterima, maka inputan data kolom adalah 1, 0
Jika kondisi Ditolak, maka inputan data kolom adalah 0, 1



Selanjutnya ada 2 orang pelanggan baru yang mengajukan kredit sepeda motor
Maka tentukan pelanggan ini nantinya akan termasuk dalam kelompok Diterima / Ditolak
Diasumsikan data awalnya adalah sebagai berikut:

Pelanggan Umur Jenis Kelamin Skor Kepribadian
Pelanggan I 47 Perempuan 6.05
Pelanggan J 52 Laki-Laki 5

Contoh data pelanggan baru adalah sebagai berikut:
Untuk kriteria Nilai Hasil:
Terdapat 2 kolom untuk merepresentasikan kondisi Diterima dan Ditolak
Karena belum diketahui nilai hasilnya, maka semua inputan data adalah -1, -1


Langkah-langkah penggunaan algoritma ini adalah

1. Lakukan normalisasi data untuk kriteria Umur dan Skor Kepribadian
Penjelasan lebih lanjut dapat dilihat pada penjelasan skrip dibawah ini (poin 1a – 1c)

1a. Hitung nilai rata-rata tiap-tiap kolom
yaitu dengan rumus: jumlah semua data dibagi dengan jumlah datanya

1b. Hitung nilai standar deviasi tiap-tiap kolom
yaitu dengan rumus: akar dari ((kuadrat dari (jumlah dari (data – rata-rata))) / jumlah data)

1c. Normalisasi data dihitung dengan rumus (data – (rata-rata kriteria tersebut)) / standar deviasi kriteria tersebut

2. Tentukan skema awal untuk algoritma ini.
Algoritma ini dapat digunakan untuk melakukan perhitungan yang memiliki banyak input dan menghasilkan banyak output
Diasumsikan dalam kasus ini, skema yang digunakan adalah 3 – 4 – 2, dimana:

  • 3 adalah jumlah saraf input, karena ada 3 kriteria awal, yaitu Umur, Jenis Kelamin, dan Skor Kepribadian
  • 4 adalah jumlah saraf tersembunyi yang digunakan. Jumlah saraf tersembunyi harus lebih dari jumlah saraf input
  • dalam kasus ini bisa lebih dari 4, tetapi hanya digunakan 4 saja untuk mempercepat perhitungan

  • 2 adalah jumlah saraf output, Karena kriteria nilai hasil bergantung pada nilai 2 kolom, yaitu 1,0 jika diterima dan 0,1 jika ditolak

* Diperlukan sebuah class untuk menyimpan semua matriks data untuk digunakan dalam perhitungan algoritma ini. Class ini dinamakan class JaringanSaraf. Deklarasi awal untuk setiap pengisian data adalah sebagai berikut

* Setelah melakukan inisialisasi diatas, maka akan dilakukan inisialisasi matriks bobot dan bias yang digunakan

  • jumlah nilai bobot pada jaringan saraf input-tersembunyi adalah jumlah saraf input * jumlah saraf tersembunyi (3 * 4 = 12 buah)
  • jumlah nilai bias pada jaringan saraf input-tersembunyi adalah jumlah saraf tersembunyi (4 buah)
  • jumlah nilai bobot pada jaringan saraf tersembunyi-output adalah jumlah saraf tersembunyi * jumlah saraf output (4 * 2 = 8 buah)
  • jumlah nilai bias pada jaringan saraf tersembunyi-output adalah jumlah saraf output (2 buah)

Sehingga, jumlah bobot yang diperlukan adalah 12 + 4 + 8 + 2 = 26 buah data
Kemudian pada masing-masing bobot, beri nilai awal dengan nilai acak yang sangat kecil (antara 0.001 sampai dengan 0.0001)

* Gunakan fungsi ini untuk memasukkan matriks bobot awal kedalam 4 matriks data yaitu matriks ihBobot, hBias, hoBobot, oBias
ihBobot adalah matriks bobot pada jaringan saraf input-tersembunyi, dengan jumlah data = jumlah saraf input * jumlah saraf tersembunyi (3 * 4 = 12 buah)
hBias adalah matriks nilai bias pada jaringan saraf input-tersembunyi, dengan jumlah data = jumlah saraf tersembunyi (4 buah)
hoBobot adalah matriks bobot pada jaringan saraf tersembunyi-output, dengan jumlah data = jumlah saraf tersembunyi * jumlah saraf output (4 * 2 = 8 buah)
oBias adalah matriks nilai bias pada jaringan saraf tersembunyi-output, dengan jumlah data = jumlah saraf output (2 buah)

3. Tentukan parameter-parameter yang digunakan dalam perhitungan

3a. Tentukan jumlah maksimal perulangan / epoch yang digunakan dalam perhitungan
Diasumsikan dalam kasus ini, jumlah maksimal perulangan adalah 100 kali

4. Lakukan proses pencarian nilai bobot dan bias terbaik
Metode yang digunakan adalah RProp (Resilient Back-Propagation)
Penjelasan lebih detail tentang fungsi ini dapat dilihat pada penjelasan skrip dibawah ini (poin 4a – 4b)

Memasuki perhitungan pada fungsi RProp

4a. Tentukan etaPlus, etaMinus, deltaMax, dan deltaMin
etaPlus adalah konstanta untuk menaikkan nilai delta bobot / bias ketika perhitungan berjalan kearah yang cocok
etaMinus adalah konstanta untuk menurukan nilai delta bobot / bias ketika terjadi ketidakcocokan antara perhitungan sebelumnya dan perhitungan sekarang
deltaMax dan deltaMin adalah rentang nilai delta, agar nilai perhitungan delta tidak terlalu rendah atau tinggi
Nilai-nilai yang dipakai disini adalah nilai-nilai yang direkomendasikan dalam jurnal penelitian

4b. Lakukan perhitungan sebanyak parameter maksEpoch (poin 4b1 – 4b5)

* Pada setiap kali perulangan, akan ada 2 perhitungan utama, yaitu perhitungan nilai gradient dan proses update nilai matriks bobot

4b1. Sebelum memasuki perhitungan nilai gradient, maka kosongkan dulu semua akumulasi nilai gradient bobot dan bias

* Lakukan proses perhitungan gradient (poin 4b2)

4b2. Lakukan perhitungan pada masing-masing contoh data (poin 4b2a – 4b2g)

4b2a. Lakukan perulangan pada setiap baris data
Ambil matriks data kolom kriteria dan kolom hasil sesuai urutan baris data yang sudah ditentukan sebelumnya
Kemudian hitung nilai output dari matriks data kolom kriteria

4b2b. Tentukan nilai komponen gradient untuk jaringan saraf output
Yaitu turunan fungsi Softmax * (selisih nilai output dengan nilai data sebenarnya)
turunan fungsi Softmax dihitung dengan rumus (1 – y) * y

4b2c. Tentukan nilai komponen gradient untuk jaringan saraf tersembunyi
Yaitu turunan fungsi HyperTan * jumlah komponen gradient
turunan fungsi HyperTan dihitung dengan rumus (1 – y) * (1 + y)
Jumlah komponen gradient dihitung dengan rumus jumlah dari perkalian antara baris oKomponenGradient dengan hoBobot

4b2d. Hitung nilai bobot gradient yaitu jumlah dari perkalian antara baris oKomponenGradient dengan hOutput
Kemudian simpan nilai akumulasi nilai bobot gradient nya

4b2e. Hitung nilai bias gradient yaitu jumlah dari perkalian antara baris oKomponenGradient dengan 1
Kemudian simpan nilai akumulasi nilai bias gradient nya

4b2f. Hitung nilai bobot gradient yaitu jumlah dari perkalian antara baris hKomponenGradient dengan inputs
Kemudian simpan nilai akumulasi nilai bobot gradient nya

4b2g. Hitung nilai bias gradient yaitu jumlah dari perkalian antara baris hKomponenGradient dengan 1
Kemudian simpan nilai akumulasi nilai bias gradient nya

* Setelah menentukan nilai akumulasi gradient, maka lakukan proses update nilai matriks bobot (poin 4b3 – 4b4)

4b3. Lakukan update nilai matriks bobot pada jaringan saraf input-tersembunyi (poin 4b3a – 4b3b)

4b3a. Bandingkan akumulasi bobot gradient pada perulangan sebelumnya dengan perulangan sekarang (poin 4b3a1 – 4b3a3)

4b3a1. Apabila nilai sebelumnya dengan nilai sekarang tidak mengalami perubahan tanda positif ke negatif / negatif ke positif,
Maka naikkan nilai delta, yaitu delta bobot sebelumnya * konstanta etaPlus
Jika nilai delta berada diluar rentang nilai delta, maka kembalikan agar tetap dalam rentang nilai delta
Kemudian hitung nilai bobot dengan rumus (-1 atau +1) * delta * -1, dengan (-1 atau +1) adalah penentu apakah nilai akumulasi bobot gradient positif atau negatif

4b3a2. Apabila nilai sebelumnya dengan nilai sekarang mengalami perubahan tanda positif ke negatif / negatif ke positif,
Maka turunkan nilai delta, yaitu delta bobot sebelumnya * konstanta etaMinus
Jika nilai delta berada diluar rentang nilai delta, maka kembalikan agar tetap dalam rentang nilai delta
Kemudian kembalikan nilai bobot sekarang menjadi nilai bobot sebelumnya
Dan hapus nilai akumulasi bobot gradientnya, agar pada perhitungan berikutnya masuk kedalam kondisi poin dibawah ini

4b3a3. Pada perulangan berikutnya setelah poin diatas dilakukan,
Ambil nilai delta bobot sebelumnya sebagai nilai delta
Kemudian hitung nilai bobot dengan rumus (-1 atau +1) * delta * -1, dengan (-1 atau +1) adalah penentu apakah nilai akumulasi bobot gradient positif atau negatif

4b3b. Setelah membandingkan nilai akumulasi bobot gradient pada perulangan sebelumnya dengan perulangan sekarang,
maka simpan nilai delta bobot sekarang dan akumulasi bobot gradient sekarang sebagai nilai sebelumnya untuk digunakan pada perulangan berikutnya

4b4. Lakukan update nilai matriks bias pada jaringan saraf tersembunyi (poin 4b4a – 4b4b)

4b4a. Bandingkan akumulasi bias gradient pada perulangan sebelumnya dengan perulangan sekarang (poin 4b4a1 – 4b4a3)

4b4a1. Apabila nilai sebelumnya dengan nilai sekarang tidak mengalami perubahan tanda positif ke negatif / negatif ke positif,
Maka naikkan nilai delta, yaitu delta bias sebelumnya * konstanta etaPlus
Jika nilai delta berada diluar rentang nilai delta, maka kembalikan agar tetap dalam rentang nilai delta
Kemudian hitung nilai bias dengan rumus (-1 atau +1) * delta * -1, dengan (-1 atau +1) adalah penentu apakah nilai akumulasi bias gradient positif atau negatif

4b4a2. Apabila nilai sebelumnya dengan nilai sekarang mengalami perubahan tanda positif ke negatif / negatif ke positif,
Maka turunkan nilai delta, yaitu delta bias sebelumnya * konstanta etaMinus
Jika nilai delta berada diluar rentang nilai delta, maka kembalikan agar tetap dalam rentang nilai delta
Kemudian kembalikan nilai bias sekarang menjadi nilai bias sebelumnya
Dan hapus nilai akumulasi bias gradientnya, agar pada perhitungan berikutnya masuk kedalam kondisi poin dibawah ini

4b4a3. Pada perulangan berikutnya setelah poin diatas dilakukan,
Ambil nilai delta bias sebelumnya sebagai nilai delta
Kemudian hitung nilai bias dengan rumus (-1 atau +1) * delta * -1, dengan (-1 atau +1) adalah penentu apakah nilai akumulasi bias gradient positif atau negatif

4b4b. Setelah membandingkan nilai akumulasi bias gradient pada perulangan sebelumnya dengan perulangan sekarang,
maka simpan nilai delta bias sekarang dan akumulasi bias gradient sekarang sebagai nilai sebelumnya untuk digunakan pada perulangan berikutnya

4b5. Lakukan perhitungan yang sama (poin 4b3a dan 4b3b) untuk melakukan proses update nilai matriks bobot dan bias pada jaringan saraf tersembunyi-output

5. Lakukan perhitungan dari masing-masing contoh data menggunakan nilai bobot dan nilai bias yang sudah ditemukan
Penjelasan tentang fungsi ini akan dijelaskan pada perhitungan dibawah ini (poin 5a – 5g)

Memasuki perhitungan utama pada fungsi hitungNilaiOutput

5a. Beri nilai matriks input sesuai array input

5b. Hitung matriks ihJumlahBobotDanBias dengan cara perkalian matriks antara matriks input dan matriks ihBobot

5c. Kemudian masukkan nilai bias pada matriks ihJumlahBobotDanBias

5d. Hitung nilai output sementara dengan menggunakan fungsi HyperTan untuk masing-masing data pada matriks hJumlahBobotDanBias
Penjelasan tentang fungsi HyperTan akan dijelaskan pada perhitungan dibawah ini

* Gunakan fungsi ini untuk menghitung nilai fungsi HyperTan (tanh)

5e. Hitung matriks hoJumlahBobotDanBias dengan cara perkalian matriks antara matriks output sementara dan matriks hoBobot

5f. Kemudian masukkan nilai bias pada matriks hoJumlahBobotDanBias

5g. Hitung nilai output akhir dengan menggunakan fungsi Softmax untuk masing-masing data pada matriks hoJumlahBobotDanBias
Penjelasan tentang fungsi Softmax akan dijelaskan pada perhitungan dibawah ini (poin 5g1 – 5g3)

Memasuki perhitungan utama pada fungsi Softmax

5g1. Cari nilai maksimal data

5g2. Cari nilai skala

5g3. Hitung hasil akhir
Sehingga semua jumlah bobot pada parameter matriks hoJumlahBobotDanBias akan bernilai 1

6. Jika nilai output bernilai kurang dari 0.5 maka pelanggan tersebut memiliki nilai hasil Ditolak
Jika nilai output bernilai lebih dari 0.5 maka pelanggan tersebut memiliki nilai hasil Diterima
Kemudian bandingkan nilai output dengan nilai hasil pada contoh data
Jika hasilnya sudah sama, maka catat data ini kedalam jumlah data benar
Jika hasilnya tidak sama, maka catat data ini kedalam jumlah data salah

7. Catat tingkat kecocokan perhitungan data dengan hasil awal pada data
Langkah ini tidak wajib, hanya untuk mengetahui seberapa besar tingkat kecocokan perhitungan untuk data baru yang akan dihitung selanjutnya

8. Lakukan perhitungan yang sama (poin 5 dan 6) untuk masing-masing data baru


Hasil akhir adalah: (klik untuk perbesar gambar)

cmd54a


Contoh modul / source code dalam bahasa VB (Visual Basic) dapat didownload disini:



Jika membutuhkan jasa kami dalam pembuatan program, keterangan selanjutnya dapat dilihat di Fasilitas dan Harga
Jika ada yang kurang paham dengan langkah-langkah algoritma diatas, silahkan berikan komentar Anda.
Selamat mencoba.

Tinggalkan sebuah komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *