Ридж и LASSO регрессия HD

Второй способ борьбы с мультиколлинеарностью – это включение штрафа в сумму наименьших квадратов. Соответственно, мы минимизируем непросто сумму квадратов остатков, а мы минимизируем сумму квадратов остатков плюс штраф за слишком большие коэффициенты. Мы штрафуем нашу модель за то, что коэффициенты β с крышкой оказываются слишком далеко от 0.Соответственно, наиболее распространенными являются 3 формы штрафа. Первая форма штрафа, где мы добавляем с некоторым весом λ сумму квадратов оцененных коэффициентов, этот метод называется ридж-регрессия. Второй алгоритм называется LASSO, где мы штрафуем нашу сумму квадратов остатков на сумму модулей оцененных коэффициентов, опять же с весом λ. И третий компромиссный вариант– метод эластичной сети, где мы штрафуем нашу сумму квадратов остатков и на сумму модулей оценок коэффициентов, и на сумму квадратов оценок коэффициентов ========================= Подписаться на канал - http://www.youtube.com/channel/UCLk-Oih8VlqF-StidijTUnw?sub_confirmation=1 Курс программирования на R - http://www.youtube.com/playlist?list=PLu5flfwrnSD7wxKXFgsiuxrMKLfFHm6CD Курс основы эконометрики в R - http://www.youtube.com/playlist?list=PLu5flfwrnSD5d02G9YJcDv30Fp5_70-sI