В древовидных методах используются выражения «Bagging» и «Boosting», что они означают и в чем между ними разница?
Бэггинг и форсирование похожи тем, что оба являются методами ансамбля, в которых набор слабых учеников объединяется для создания сильного ученика, который обеспечивает лучшую производительность, чем один.
Что такое ансамблевые техники?
Ансамблевое обучение — это парадигма машинного обучения, в которой несколько моделей (часто называемых «слабыми учениками») обучаются решению одной и той же задачи и объединяются для получения лучших результатов. Основная гипотеза состоит в том, что при правильном сочетании слабых моделей можно получить более точные и/или надежные модели.
Что такое Бэггинг?
Bootstrap Агрегирование, также известное как бэггинг, представляет собой метаалгоритм ансамбля машинного обучения, предназначенный для повышения стабильности и точности алгоритмов машинного обучения, используемых в статистической классификации и регрессии. Это уменьшает дисперсию и помогает избежать переобучения. Обычно применяется к методам деревьев решений. Бэггинг — это частный случай подхода усреднения модели.
В этом методе новые деревья создаются путем многократного извлечения образцов из набора выборочных данных для их замены, и из этих деревьев возникает сообщество: коллекция деревьев. По этой причине их называют ансамблевыми методами обучения. Все полученные деревья используются для моделирования, и у каждого спрашивают свое мнение. Оценивая мнение каждого, берется голосование / среднее мнение, и результат процесса оценки представляется в виде единого заявления. Бэггинг следует рассматривать как методологию. Например, когда алгоритм CART привязан, появляется дерево в мешках. Когда алгоритм CART подключается на основе как наблюдений, так и переменных, возникают случайные леса.
Что такое бустинг?
Если методы Boosting должны быть выражены в одном предложении: он пытается повысить производительность на основе остаточной оптимизации. Таким образом, модели адаптивны. Существует кумулятивная оценка ошибок. Повышение также следует рассматривать как методологию. AdaBoost, Gradient Boosting Machines, XGboost взяли свои функции из этого «бустирующего» подхода. Он основан на идее объединения слабых классификаторов. Алгоритмическим эквивалентом этой идеи является создание серии моделей в виде одной прогностической модели. Модель в серии строится (соответствует) на остатках/ошибках предсказания (остатках) предыдущей модели в серии. Здесь концепция адаптивного обучения будет лучше понята. Деревья зависимы, а не независимы.
В чем разница между бэггингом и бустингом?
Основное различие между бэггингом и бустингом заключается в том, как они объединяют прогнозы базовых моделей. Бэггинг объединяет прогнозы путем усреднения или большинства голосов, а форсирование объединяет прогнозы, придавая больший вес прогнозам более эффективных моделей.
Бэггинг используется для уменьшения дисперсии прогнозов и может быть полезен, когда базовые модели имеют тенденцию к превышению обучающих данных. С другой стороны, Boosting используется для повышения точности прогнозов и может быть полезен, когда базовые модели имеют тенденцию не соответствовать обучающим данным.
Выбор наилучшей техники: Бэггинг или Бустинг
Нет явного победителя; это зависит от данных, моделирования и обстоятельств.
Бэггинг и форсирование уменьшают дисперсию вашей отдельной оценки, поскольку они объединяют несколько оценок из разных моделей. Таким образом, в результате может получиться модель с более стабильной.
Если проблема в том, что одна модель имеет очень низкую производительность, Бэгинг редко получает лучший уклон. Однако форсирование может создать комбинированную модель с меньшими ошибками, поскольку оно оптимизирует преимущества и уменьшает подводные камни одиночной модели.
Напротив, если сложность одной модели заключается в переобучении, то наилучшим вариантом будет бэггинг. Со своей стороны бустинг не помогает избежать переобучения; на самом деле эта техника сама сталкивается с этой проблемой. По этой причине Бэгинг эффективнее чаще, чем Буст.
Спасибо за прочтение!
Источник:
