Rumus Penting Algoritma ID3 / Sistem Kerja Algoritma ID3

Pengertian Algoritma ID3.

Apa itu algoritma ID3?

Algoritma ID3 atau Iterative Dichotomiser 3 (ID3) adalah sebuah metode yang digunakan untuk membuat pohon keputusan yang telah dikembangkan oleh J. Ross Quinlan sejak tahun 1986.

Algoritma ID3 pada metode ini menggunakan konsep dari entropy informasi. Algoritma ini melakukan pencarian secara rakus atau menyeluruh pada semua kemungkinan pohon keputusan.
Algoritma pada metode ini menggunakan konsep dari entropi informasi.

Secara ringkas Sistem kerja algoritma ID3 dapat dijelaskan sebagai berikut.
1. Pemilihan atribut dengan menggunakan Information Gain.
2. Pilih atribut di mana nilai information gain-nya terbesar.
3. Buat simpul yang berisi atribut tersebut.
4. Proses perhitungan information gain terus dilaksanakan sampai semua data telah termasuk dalam kelas yang sama.

Atribut yang telah dipilih tidak diikutkan lagi dalam perhitungan nilai information gain. (Yusuf Elmande, 2012)

Adapun sample data yang digunakan oleh ID3 memiliki beberapa syarat, yaitu:
Deskripsi atribut-nilai. Atribut yang sama harus mendeskripsikan tiap contoh dan memiliki jumlah nilai yang sudah ditentukan.
Kelas yang sudah didefinisikan sebelumnya. Suatu atribut contoh harus sudah didefinisikan, karena mereka tidak dipelajari oleh ID3.

Kelas-kelas yang diskrit. Kelas harus digambarkan dengan jelas. Kelas yang continue dipecah-pecah menjadi kategori-kategori yang relatif, misalnya saja metal dikategorikan menjadi “hard, quite hard, flexible, soft, quite soft”.
Jumlah contoh (example) yang cukup.

Karena pembangkitan induktif digunakan, maka dibutuhkan test case yang cukup untuk membedakan pola yang valid dari peluang suatu kejadian.
Pemillihan atribut pada ID3 dilakukan dengan properti statistik, yang disebut dengan information gain.

Rumus algoritma ID3 Gain mengukur seberapa baik suatu atribut memisahkan training example ke dalam kelas target. Atribut dengan informasi tertinggi akan dipilih. Dengan tujuan untuk mendefinisikan gain, pertama-tama digunakanlah ide dari teori informasi yang disebut entropi. Entropi mengukur jumlah dari informasi yang ada pada atribut. Berikut adalah rumus algoritma id3 yang penting:

Rumus Entropy algoritma ID3

Berikut adalah rumus Gain pada algoritma id3