Содержание
Как выводятся условия сходимости / условия KKT для SVM с мягкой маржой
Задать вопрос
спросил
Изменено
2 года, 1 месяц назад
Просмотрено
942 раза
9Tw+b)-1+\xi_i = 0$. Может ли кто-нибудь объяснить мне, как выводятся приведенные выше условия дополнительности? Меня беспокоит, что $\xi_i$ не появляется в дополнительном условии.
$\endgroup$
$\begingroup$
К сожалению, я опоздал на пару лет, но после прочтения конспектов лекций Нг задал себе тот же вопрос. Перечисленные вами условия дополнительности следуют из других условий ККТ, а именно:
$$
\начать{выравнивать}
\alpha_i &\geq 0 \tag{1},\\
g_i(w) &\leq 0 \tag{2},\\
\alpha_i g_i(w) &= 0 \tag{3},\\
r_i &\geq 0 \тег{4},\\
\xi_i &\geq 0 \tag{5},\\
r_i \xi_i &= 0 \tag{6},
\end{выравнивание}
$$
куда
$$
g_i(w) = — y^{(i)} \left(w^T x^{(i}) + b\right) +1 -\xi_i.
$$
Кроме того, из
$$
\begin{уравнение}
\frac{\partial \mathcal{L}}{\partial \xi_i} \overset{!}{=} 0,
\end{уравнение}
$$
получаем соотношение
$$
\alpha_i = C — r_i \tag{7}.
$$ 9{(i}) + b\справа) \leq 1, \tag{10}
\end{уравнение}
$$
Обратите внимание, что уравнение. (8) не дает вклада в SVM, так как классифицируется с достаточной уверенностью ($\alpha_i = 0$ как для линейно-разделимого случая). Для случая $0<\alpha_i $\endgroup$ 9Tx_i+b)\leq1$$ $\endgroup$ Зарегистрируйтесь с помощью Google Зарегистрироваться через Facebook Зарегистрируйтесь, используя электронную почту и пароль Электронная почта Требуется, но не отображается Электронная почта Требуется, но не отображается Зарегистрируйтесь или войдите в систему
Опубликовать как гость
Опубликовать как гость
Нажимая «Опубликовать свой ответ», вы соглашаетесь с нашими условиями обслуживания, политикой конфиденциальности и политикой использования файлов cookie
.
машинное обучение. Почему опорные векторы в SVM имеют альфа (множитель Лагранжа) больше нуля?
спросил
Изменено
4 года, 10 месяцев назад
Просмотрено
6к раз
Я понял общий алгоритм SVM, состоящий из лагранжевой двойственности и всего остального, но я не могу понять, почему именно множитель Лагранжа больше нуля для опорных векторов.
Спасибо.
- машинное обучение
- статистика
- svm
1
Это может быть поздний ответ, но я делюсь здесь своим пониманием с другими посетителями.
Множитель Лагранжа, обычно обозначаемый α, представляет собой вектор весов всех обучающих точек в качестве опорных векторов.
Предположим, имеется m обучающих примеров. Тогда α — вектор размера m. Теперь сосредоточимся на любом i-м элементе α: α и . Понятно, что α i фиксирует вес i-го обучающего примера в качестве опорного вектора. Более высокое значение α i означает, что i-й обучающий пример имеет большее значение как опорный вектор; что-то вроде того, что если нужно сделать прогноз, то этот i-й обучающий пример будет более важным для принятия решения.
Теперь о беспокойстве ОП:
Я не могу понять, почему именно множитель Лагранжа
больше нуля для опорных векторов.
Это просто конструкция. Когда вы говорите α i = 0, это означает, что i-й обучающий пример имеет нулевой вес в качестве опорного вектора. Вместо этого вы также можете сказать, что этот i-й пример не является опорным вектором.
Примечание: Одним из условий ККТ является дополнительная нежесткость: α i g i (w)=0 для всех i.