درخت تصمیم یکی از مشهور‌ترین و قدیمی‌ترین روش‌های ساخت مدل رده‌بندی است. در الگوریتم‌های رده‌بندی مبتنی بر درخت تصمیم، دانش خروجی به صورت یک درخت از حالات مختلف مقادیر و ویژگی‌ها ارائه می‌شود. نمایش دانش به شکل درخت سبب شده‌است که رده‌های مبتنی بر درخت تصمیم کاملًا قابل تفسیر باشند.

مفاهیم اصلی در درخت‌های تصمیم

– گره: به منظور مستقل که آزمون روی آن انجام می شود.
– گره ریشه: گره ای که در بالاترین نقطه درخت وجود دارد.
– برگ: به متغیر وابسته یا برچسب دسته، برگ می گویند.
– شاخه: به مقیاسی که خروجی از آن تعیین می شود.
– برای متغیرهای عددی
– برای متغیرهای طبقه ای

در حالت کلی درخت تصمیم رسم شده برای یک مجموعه داده آموزشی، واحد و یکتا نیست. بر اساس در شکل زیر نمونه‌ای از درخت تصمیم برای یک نمونه داده مشخص، نمایش داده شده است.یک مجموعه داده، درخت‌های تصمیم مختلفی می‌توان به‌دست آورد. در مجموعه داده‌هایی که در این شکل‌ها استفاده شده است، سه ویژگی به نام‌های   Income(درآمد)، Marital Status (وضعیت تأهل) و Age (سن) وجود دارد. هم‌چنین ویژگی بد‌حساب بودن به عنوان ویژگی دسته تعریف شده است. به این ترتیب در این‌جا یک مجموعه رکورد داریم و هدف ما ساختن یک درخت تصمیم بر اساس آن‌هاست. برای این منظور باید بر اساس مجموعه داده‌های آموزشی از بین سه ویژگی موجود یکی را انتخاب کرده و سپس باید مجموعه رکورد‌ها را بر اساس مقادیر این ویژگی بشکنیم و این فرایند را ادامه دهیم تا درخت کلی ساخته شود. در میان ویژگی‌های موجود، ابتدا آن‌هایی که خاصیت جداکنندگی بیشتری دارند را انتخاب می‌کنیم تا اطلاعات بیشتری از داده‌ها برای ما فراهم کنند. در درخت تصمیم شکل زیر ابتدا ویژگی درآمد انتخاب شده است.

پس از ساخته شدن مدل رده‌بندی مبتنی بر درخت تصمیم، می‌توان آن را بر روی مجموعه داده‌های آزمایشی اعمال نمود. منظور از اعمال کردن مدل، پیش‌بینی مقدار ویژگی دسته برای یک رکورد آزمایشی بر اساس مدل ساخته شده است. در شکل بالا یک درخت تصمیم و یک رکورد آزمایشی داریم. به گونه‌ای که مقدار سه ویژگی این رکورد مشخص است. هدف پیش‌بینی ویژگی دسته این رکورد، بر اساس درخت تصمیم موجود است. فرایند تعیین دسته نمونه آزمایشی از ریشه درخت تصمیم که Income است، آغاز می‌شود. به دلیل اینکه درآمد کم‌تر از 36000 است، شاخه راست درخت انتخاب می‌شود. در ادامه وضعیت ویژگی Age مورد بررسی قرار خواهد گرفت که چون این مقدار ویژگی در رکورد آزمایشی برابر با 42 است، شاخه چپ انتخاب می‌شود. بعد از آن ویژگی Marital Status مورد بررسی قرار خواهد گرفت، این مقدار ویژگی در رکورد مورد نظر برابر با متأهل است. در نهایت فرد مورد نظر خوش‌حساب معرفی می‌شود.