Cara menghitung entropy di excel

Berikut ini akan saya berikan contoh pergitungan decision tree menggunakan algoritma C45 yang saya dapat dari berbagai sumber, sebagai referensi anda.Baik langsung saja berikut pejelasannya

Untuk menentukan bermain tenis atau tidak, kriteria yang diperlukan meliputi:
  -Cuaca
  -Angin
  -Kelembaban
  -Temperatur udara

Salah satu atribut merupakan data solusi per item data yang disebut target atribut -> misalnya atribut “play” degan nilai “main” atau “tidak main”
Atribut memiliki nilai-nilai yang dinamakan “instance”
Misalkan atribut “Cuaca” memiliki instance -> cerah, berawan, dan hujan.

Berdasakan tabel diatas akan dibuat tabel keputusan untuk menentukan main tenis atau tidak dengan melihat keadaan Outlook (cuaca), Temperatur, Humidity (kelembaban), dan windy (keadaan angin).

Algoritma secara umum:

-Pilih atribut sebagai akar

-Buat cabang untuk tiap2 nilai

-Bagi kasus dalam cabang

-Ulangi proses utk setiap cabang sampai semua kasus pada cabang memiliki kelas yang sama

Keterangan:
   - S : himpunan
   - A : atribut
   - n  : jumlah partisi atribut A
   - | Si | : jumlah kasus pada partisi ke-i
   - | S |  : jumlah kasus dalam S

Menghitung Nilai Entropy

Keterangan:
S : himpunan kasus
A : fitur
n  : jumlah partisi S
pi : proporsi dari Si terhadap S

Perincian algoritma ( langkah 1)

• Menghitung jumlah kasus seluruhnya, jumlah berkeputusan “Yes” maupun “No”.
• Menghitung Entropy dari semua kasus yg terbagi berdasarkan atribut “Outlook”, “Temperature”,“Humidity”, “Windy”.
• Lakukan penghitungan Gain utk setiap atributnya

Perhitungan

Perhitungan Total Entropy

Menghitung gain pada baris Outlook

Lakukan Hitung Gain untuk temperature, humidity dan windy

Sepert yg terlihat pd tabel, diperoleh bhw atribut dgn Gain tertinggi adalah Humidity -> 0,37

Maka Humidity menjadi node akar

Humidity memiliki dua nilai yaitu “High” dan “Normal”

Humidity -> “Normal” sdh mengklasifikasikan kasus menjadi 1 yaitu keputusannya “yes”

Untuk humidity -> “High” msh perlu dilakukan perhitungn lagi (karena masih terdapat “yes” dan “no”)

Pohon Keputusan Node 1

Perincian Algoritma (Langkah 2)

Hasil perhitungan (Langkah 2)

Hasil perhitungan (Langkah 2)

Didapat Gain tertinggi -> outlook -> 0,69

Maka “Outlook” menjadi node cabang dari atribut humidity yg bernilai “High”

Berdasarkan atribut “Outlook” terdpt 3 nilai 

Cloudy

Rainy

Sunny

Krn “Cloudy” pasti bernilai “Yes” dan “Sunny” pasti bernilai “No”, maka tdk perlu dilakukan perhitungan lagi

Sedangkan “Rainy” bernilai “yes” dan “No”, maka masih perlu dilakukan perhitungan lagi

Pohon keputusan node 1.1

Perincian algoritma (Langkah 3)

Hasil perhitungan (Langkah 3)

Hasil perhitungan (Langkah 3)

Didapat Gain tertinggi -> Windy -> 1

Maka “Windy” menjadi node cabang dari atribut humidity yg bernilai “High” dan outlook yg bernilai “Rainy”

Berdasarkan atribut “Windy” terdpt 2 nilai 

True

False

Karena “True” sdh terklasifikasi pasti bernilai “No” dan “False” pasti bernilai “Yes”, maka tidak perlu dilakukan perhitungan lagi

Pohon keputusan node 1.1.2

Hasil perhitungan (Langkah 3)

Berdasarkan node 1.1.2, maka:

“Semua kasus sudah masuk dapat kelas”

Sehingga pohon keputusan diatas merupakan pohon keputusan terakhir yang terbentuk

Seperti yang telah diketahui macam-macam Algoritma Decison tree ada 3 yaitu :

• Algoritma C4.5
•  ID3 -> merupakan pengembangan C4.5
•  CART 

Perhitungan diatas adalah implementasi menggunakan Algoritma C45, semoga bermanfaat sebagai bahan referensi anda. 

Kata kunci : Decision Tree dengan Algoritma C45, algoritma C45, Skipsi Teknik Informatika, Contoh Skripsi, Algoritma, skripsi