این مفهوم برای تولید مدلهای چندگانه (برای پیش بینی یا رده بندی) به کار می رود. الگوریتم Boosting برای اولین بار توسط Schapire در سال ۱۹۹۰ به کار گرفته شد، به طوری که اثبات کرد که یک کلاسه کننده ضعیف زمانی می‌تواند تبدیل به یک کلاسه‌کننده قوی شود که در قالب (probably approximately correct (PAC قرار گیرد. Adaboost یکی از معروف‌ترین الگوریتم‌های این خانواده می‌باشد که جزء ۱۰ الگوریتم برتر داده کاوی محسوب می‌شود.
در این روش، اریبی در کنار واریانس کاهش می‌یابد و مانند ماشین‌های بردار پشتیبان حاشیه‌ها افزایش می‌یابند. این الگوریتم از کل مجموعه داده به منظور آموزش هر دسته‌کننده استفاده می‌کند، اما بعد از هر بار آموزش، بیشتر بر روی داده‌های سخت تمرکز می‌کند تا به درستی کلاسه بندی شوند. این روش تکراری تغییر انطباقی به توزیع داده ها آموزش با تمرکز بیشتر بر روی نمونه هایی است که قبلا بطور صحیح کلاس بندی نشده اند.
در ابتدا تمام رکوردها وزن یکسانی میگیرند و برخلاف bagging وزن ها در هر تکرار افزایش پیدا خواهند کرد. وزن نمونه هایی که به اشتباه طبقه بندی شده اند افزایش خواهد یافت در حالی که آن دسته از نمونه‌هایی که بدرستی کلاس بندی شده اند وزنشان کاهش خواهد یافت. سپس وزن دیگری به صورت مجزا به هر دسته‌کننده با توجه به دقت کلی آن اختصاص داده می‌شود که بعدا در فاز تست مورد استفاده قرار می‌گیرد. دسته‌کننده‌های دقیق از ضریب اطمینان بالاتری برخوردار خواهند بود. در نهایت هنگام ارائه یک نمونه جدید هر دسته کننده یک وزن پیشنهاد می‌دهد و لیبل کلاس با رأی اکثریت انتخاب خواهد شد.