OCR (Optical Character Recognition) dengan teknik Back-Propagation


OCR (Optical Character Recognition) adalah konversi sebuah gambar yang mengandung karakter teks yang diketik atau tulisan tangan menjadi karakter teks itu sendiri. Contoh yang dibahas kali ini adalah mengenai pengenalan karakter pada gambar baru berdasarkan data gambar yang sudah ada.
OCR (Optical Character Recognition) adalah salah satu tipe dari pengenalan gambar (Image Recognition). Teknik pengenalan gambar dapat digunakan dalam beberapa bidang, seperti sistem login menggunakan pemindai retina atau sidik jari dan pada kamera cctv untuk mencari seseorang yang termasuk dalam daftar pencarian orang. Pada kali ini akan dibahas teknik pengenalan karakter teks berdasarkan gambar yang sudah diketahui. Nantinya akan digunakan Algoritma Back-Propagation untuk menghitung nilai bobot gambar-gambar yang sudah ada, dan nilai bobot tersebut akan digunakan untuk memprediksikan karakter teks dari gambar-gambar yang baru.



Diasumsikan ada 8 data gambar yang sudah diketahui, yaitu 4 data angka 0 dan 4 data angka 1
Diasumsikan 8 data tersebut adalah sebagai berikut:
ssocr1



Selanjutnya ada 3 data gambar baru yang belum diketahui hasilnya
Maka tentukan nilai karakter teks dari masing-masing gambar tersebut
Diasumsikan data awalnya adalah sebagai berikut:
ssocr2


Langkah-langkah penggunaan algoritma ini adalah

1. Tentukan normalisasi data pada semua gambar
Dalam kasus ini, data akan dinormalisasi dengan cara nilai 0 untuk warna putih dan nilai 1 untuk warna selain putih

* Gunakan fungsi ini untuk membuat bitmap dari inputan gambar
Penjelasan mengenai langkah-langkah perhitungan dapat dilihat pada keterangan skrip dibawah ini

2. Tentukan skema awal untuk algoritma ini.
Algoritma ini dapat digunakan untuk melakukan perhitungan yang memiliki banyak input dan menghasilkan banyak output
Diasumsikan dalam kasus ini, skema yang digunakan adalah 196 – 250 – 2, dimana:

  • 196 adalah jumlah saraf input, sesuai dengan jumlah pixel dalam setiap gambar, yaitu 14 x 14 pixel
  • 250 adalah jumlah saraf tersembunyi yang digunakan. Jumlah saraf tersembunyi harus lebih dari jumlah saraf input
  • 2 adalah jumlah saraf output, karena akan digunakan 2 angka biner untuk merepresentasikan angka 0 dan 1

* Diperlukan sebuah class untuk menyimpan semua matriks data untuk digunakan dalam perhitungan algoritma ini. Class ini dinamakan class JaringanSaraf. Deklarasi awal untuk setiap pengisian data adalah sebagai berikut

* Setelah melakukan inisialisasi diatas, maka akan dilakukan inisialisasi matriks bobot dan bias yang digunakan

  • jumlah nilai bobot pada jaringan saraf input-tersembunyi adalah jumlah saraf input * jumlah saraf tersembunyi (196 * 250 = 49.000 buah)
  • jumlah nilai bias pada jaringan saraf input-tersembunyi adalah jumlah saraf tersembunyi (250 buah)
  • jumlah nilai bobot pada jaringan saraf tersembunyi-output adalah jumlah saraf tersembunyi * jumlah saraf output (250 * 2 = 500 buah)
  • jumlah nilai bias pada jaringan saraf tersembunyi-output adalah jumlah saraf output (2 buah)

Sehingga, jumlah bobot yang diperlukan adalah 49.000 + 250 + 500 + 2 = 49.752 buah data
Kemudian pada masing-masing bobot, beri nilai awal dengan nilai acak yang sangat kecil (antara 0.001 sampai dengan 0.0001)

* Gunakan fungsi ini untuk memasukkan matriks bobot awal kedalam 4 matriks data yaitu matriks ihBobot, hBias, hoBobot, oBias
ihBobot adalah matriks bobot pada jaringan saraf input-tersembunyi, dengan jumlah data = jumlah saraf input * jumlah saraf tersembunyi (196 * 250 = 49.000 buah)
hBias adalah matriks nilai bias pada jaringan saraf input-tersembunyi, dengan jumlah data = jumlah saraf tersembunyi (250 buah)
hoBobot adalah matriks bobot pada jaringan saraf tersembunyi-output, dengan jumlah data = jumlah saraf tersembunyi * jumlah saraf output (250 * 2 = 500 buah)
oBias adalah matriks nilai bias pada jaringan saraf tersembunyi-output, dengan jumlah data = jumlah saraf output (2 buah)

3. Tentukan parameter-parameter yang digunakan dalam perhitungan

3a. Tentukan jumlah maksimal perulangan / epoch yang digunakan dalam perhitungan
Diasumsikan dalam kasus ini, jumlah maksimal perulangan adalah 500 kali

3b. Tentukan rasio pembelajaran untuk digunakan pada perhitungan matriks bobot
Semakin besar nilainya, maka semakin cepat nilai bobot akan berubah-ubah
Diasumsikan dalam kasus ini, rasio pembelajaran adalah 0.05

3c. Tentukan momentum, yaitu nilai tambahan yang akan ditambahkan pada setiap kali perulangan untuk mengupdate nilai bobot
Sama seperti variabel rasio pembelajaran, semakin besar nilainya, maka semakin cepat nilai bobot akan berubah-ubah
Diasumsikan dalam kasus ini, momentum adalah 0.01

4. Lakukan proses pencarian nilai bobot dan bias terbaik
Metode yang digunakan adalah Gradient Descent
Penjelasan lebih detail tentang fungsi ini dapat dilihat pada penjelasan skrip dibawah ini (poin 4a – 4c)

Memasuki perhitungan pada fungsi BackProp

* Lakukan perhitungan sebanyak parameter maksEpoch

4a. Hitung nilai kesalahan menggunakan teknik MSE (Mean Squared Error)
Jika nilai MSE sudah mendekati 0 maka perulangan akan dihentikan
Penjelasan lebih detail tentang fungsi ini dapat dilihat pada penjelasan skrip dibawah ini

* Gunakan fungsi ini untuk menghitung tingkat kesalahan dari masing-masing data input
Hitung tingkat kesalahan nilai jawaban menggunakan teknik Mean Squared Error
dihitung dengan rumus jumlah dari (kuadrat dari (nilai jawaban – nilai hasil pada matriks data)) / jumlah data
Nilai jawaban yang baru bisa jadi mengembalikan nilai MSE yang lebih tinggi, sehingga nilai jawaban ini tidak bisa dipakai

4b. Pada setiap kali perulangan, lakukan pengacakan urutan data
Sehingga perhitungan data tidak dimulai dari indeks terendah sampai ke indeks tertinggi

4c. Lakukan perhitungan pada masing-masing contoh data, sesuai dengan urutan acak sebelumnya

4c1. Lakukan perulangan pada setiap baris data
Ambil matriks data kolom kriteria dan kolom hasil sesuai urutan baris data yang sudah ditentukan sebelumnya
Kemudian hitung nilai output dari matriks data kolom kriteria

4c2. Lakukan proses update nilai bobot untuk mendapatkan nilai bobot terbaik (poin 4c2a – 4c2f)

4c2a. Hitung nilai gradient pada jaringan saraf output

4c2b. Hitung nilai gradient pada jaringan saraf tersembunyi

4c2c. Lakukan update bobot pada matriks ihBobot pada jaringan saraf input-tersembunyi
Hitung nilai delta dengan rumus rasioPembelajaran * nilai gradient pada kolom ke k * data kolom kriteria ke j
Tambahkan pada matriks ihBobot
Kemudian tambahkan nilai momentum pada matriks ihBobot

4c2d. Lakukan update bobot pada matriks hBias pada jaringan saraf tersembunyi
Hitung nilai delta dengan rumus rasioPembelajaran * nilai gradient pada kolom ke j
Tambahkan pada matriks hBias
Kemudian tambahkan nilai momentum pada matriks hBias

4c2e. Lakukan update bobot pada matriks hoBobot pada jaringan saraf tersembunyi-output
Hitung nilai delta dengan rumus rasioPembelajaran * nilai gradient pada kolom ke k * data kolom hasil ke j
Tambahkan pada matriks hoBobot
Kemudian tambahkan nilai momentum pada matriks hoBobot

4c2f. Lakukan update bobot pada matriks oBias pada jaringan saraf output
Hitung nilai delta dengan rumus rasioPembelajaran * nilai gradient pada kolom ke j
Tambahkan pada matriks oBias
Kemudian tambahkan nilai momentum pada matriks oBias

5. Lakukan perhitungan dari masing-masing contoh data menggunakan nilai bobot dan nilai bias yang sudah ditemukan
Penjelasan tentang fungsi ini akan dijelaskan pada perhitungan dibawah ini (poin 5a – 5g)

Memasuki perhitungan utama pada fungsi hitungNilaiOutput

5a. Beri nilai matriks input sesuai array input

5b. Hitung matriks ihJumlahBobotDanBias dengan cara perkalian matriks antara matriks input dan matriks ihBobot

5c. Kemudian masukkan nilai bias pada matriks ihJumlahBobotDanBias

5d. Hitung nilai output sementara dengan menggunakan fungsi HyperTan untuk masing-masing data pada matriks hJumlahBobotDanBias
Penjelasan tentang fungsi HyperTan akan dijelaskan pada perhitungan dibawah ini

* Gunakan fungsi ini untuk menghitung nilai fungsi HyperTan (tanh)

5e. Hitung matriks hoJumlahBobotDanBias dengan cara perkalian matriks antara matriks output sementara dan matriks hoBobot

5f. Kemudian masukkan nilai bias pada matriks hoJumlahBobotDanBias

5g. Hitung nilai output akhir dengan menggunakan fungsi Softmax untuk masing-masing data pada matriks hoJumlahBobotDanBias
Penjelasan tentang fungsi Softmax akan dijelaskan pada perhitungan dibawah ini (poin 5g1 – 5g3)

Memasuki perhitungan utama pada fungsi Softmax

5g1. Cari nilai maksimal data

5g2. Cari nilai skala

5g3. Hitung hasil akhir
Sehingga semua jumlah bobot pada parameter matriks hoJumlahBobotDanBias akan bernilai 1

6. Jika hasil output lebih dari 0.5, maka konversi nilai output menjadi 1
Jika hasil output lebih dari 0.5, maka konversi nilai output menjadi 0

7. Catat tingkat kecocokan perhitungan data dengan hasil awal pada data
Langkah ini tidak wajib, hanya untuk mengetahui seberapa besar tingkat kecocokan perhitungan untuk masing-masing data baru yang akan dihitung selanjutnya

8. Lakukan perhitungan yang sama (poin 5 dan 6) untuk masing-masing data baru


Hasil akhir adalah: (klik untuk perbesar gambar)

ssocr


Contoh source code lengkap dalam bahasa VB (Visual Basic) dapat didownload disini:



Jika membutuhkan jasa kami dalam pembuatan program, keterangan selanjutnya dapat dilihat di Fasilitas dan Harga
Jika ada yang kurang paham dengan langkah-langkah algoritma diatas, silahkan berikan komentar Anda.
Selamat mencoba.

Tinggalkan sebuah komentar

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *