- Четыре модели интегрированы модели для повышения дерева категории. (Есть и другие категории расфасовки дерево (например , RandomForest), модель стека (Stack))
- Какие xgboost, lightgbm показали отличную прогностическую силу данных во многих соревнованиях.
В данной статье описывается принципы и сравнение нескольких алгоритмов различать просторечие
- AdaBoost
AdaBoost все виды интеллектуального анализа данных, машинного обучения, алгоритмы статистического обучения описаны в книгах. Каждый раз, когда она итерация ошибки новой группы обучаемых $ \ epsilon_t $ права обновлять вес обучаемых группы, и в соответствии с группой обучения весов весов обновить вес образца, образец после нового взвешивания потоков в следующую итерацию. Р174 алгоритм, описанный в ссылочном Чжоу Чжихуа «машинного обучения» (классифицировать пример):
Алгоритм Описание
Вход: обучающее множество $ D = \ влево \ {(x_1, y_1), (x_2, Y_2), ..., (x_m, y_m) \ право \} $ илы обучающихся $ H $, создана группа номер обучаемого $ T $
шаги:
[1] $ D_1 (х) = \ гидроразрыва {1} {т} $
[2] $ для \ \ квадратору т квадратору в \ квадратора диапазона (Т): $
[3] $ \ qquad \ epsilon_t = Р- {х \ сим D_T} (h_t (х) \ NEQ F (X)); $
[4] $ \ qquad если \ epsilon_t> 0,5: пролом; $
[5] $ \ qquad \ альфа = \ гидроразрыва {1} {2} п (\ гидроразрыва {1- \ эпсилон} {\ эпсилон}); $
[6] $ \ BEGIN {выровнен} \ qquad D_ {T + 1} (х) & = \ гидроразрыва {D_T (х)} {Z_t} \ раз \ левая \ {\ начинают {массив} {} ехр (- \ alpha_t), \ Quad, если \ четырехъядерных h_t (х) = Р (х) & \\ ехр (\ alpha_t), \ четырехъядерных, если \ четырехъядерных h_t (х) \ NEQ Р (х) \\ \ {конец массива} \ вправо , \\ & = \ гидроразрыва {D_T (х) ехр (- \ alpha_tf (х) h_t (х))} {Z_t} \ {конец выровнен} $
Выход: $ Н (х) = знак (\ sum_ {т = 1} ^ {T}, \ alpha_t h_t (х)) $
объяснение
[1] инициализирует веса выборки из $ \ гидроразрыва {1} {т} $
[3] в расчете на массу образца в момент времени Т итераций веса, вес образца корма на основе обучения времени Т, вычисляет среднее значение всех образцов и реальной стоимости прогнозируемых значений не равны вероятности
[4] Если средняя большая вероятность, чем 0,5, что свидетельствует о том, что группа итерации обучающийся хуже случайного угадывания, отбрасываются
[5] В противном случае, использовать эту частоту ошибок, чтобы вычислить правильное / неправильное отношение шансов, и, таким образом, обновление весовых коэффициентов колесной базы ученика
[6], используя расчетную базу обучения весов для обновления веса образца: образец прогнозирования ударило уменьшить его вес, образцы ошибок прогнозирования для увеличения его веса, в результате чего получают новые веса выборки для следующей итерации ввода данных
Выход: предсказание модель результатого интегрирования обучена весом каждой итерации с правой группой обучающейся средневзвешенной, а затем с помощью функции знака и получить тип суждение