Содержание
Когда не работают машины опорных векторов? | by Wei Hao Khoong
Photo by Tomas Sobek on Unsplash
Возможно, вы случайно наткнулись на мою предыдущую статью о представлении машин опорных векторов (SVM), где ключевые фундаментальные концепции были представлены на высоком уровне. В этой статье мы обсудим, когда SVM не подходят для использования, в случаях классификации и регрессии.
Известно, что исходная реализация SVM имеет конкретную теоретическую основу, но не подходит для классификации на больших наборах данных по одной простой причине — сложность обучения алгоритма сильно зависит от размера набора данных. Другими словами, время обучения увеличивается вместе с набором данных до такой степени, что становится невозможным обучение и использование из-за вычислительных ограничений.
Положительным моментом является то, что с момента первоначального внедрения SVM компанией AT&T Bell Laboratories в 1992 году в SVM было внесено несколько усовершенствований [1]. В настоящее время обучающие SVM гораздо более масштабируемы с размерами наборов данных.
Для этого есть еще две вполне объяснимые причины [2]. Во-первых, это слабость проблемы оптимизации мягкой маржи. Это приводит к тому, что гиперплоскости смещаются в класс меньшинства, когда для обучения используются несбалансированные данные.
Вторая причина возникает из-за несбалансированного соотношения опорных векторов, т. е. соотношение между положительным и отрицательным векторами опоры становится несбалансированным, и в результате точки данных на границах решений гиперплоскостей имеют более высокий шанс быть классифицированными как отрицательные. .
Однако существуют способы уменьшить это воздействие. Одним из наиболее часто используемых подходов является введение весов классов, поэтому величина положительной поддержки будет пропорционально выше, чем величина отрицательного вектора поддержки. Веса классов используются и в других алгоритмах машинного обучения при обучении на несбалансированных наборах данных.
Это несколько интуитивно понятно. В настоящее время для SVM выбор правильной функции ядра является ключевым.
Например, использование линейного ядра, когда данные не являются линейно разделимыми, приводит к плохой работе алгоритма. Однако выбор «правильного» ядра — это отдельная проблема, которая среди используемых методов включает в себя изменение функции ядра при поиске гиперпараметров.
В этих случаях зашумленных данных целевые классы перекрываются в том смысле, что объекты могут иметь очень похожие или перекрывающиеся свойства. Это может привести к получению нескольких локальных оптимумов из-за характера алгоритма оптимизации, особенно для наборов данных большой размерности.
Однако стоит отметить, что шум не должен быть проблемой для ядер с большим смещением, таких как линейные и полиномиальные ядра. Проблема шума должна больше касаться ядер с низким смещением, таких как радиальная базисная функция (RBF).
Несмотря на то, что у исходного алгоритма SVM было несколько хорошо известных недостатков, за прошедшие годы было проведено много исследований по его улучшению, так что существующие воздействия, описанные выше, менее критичны и могут быть уменьшены/смягчены с помощью других подходов.
[1] Бозер, Б., Гийон, И., Вапник, В.: Алгоритм обучения для оптимальных классификаторов маржи. В: Труды пятого ежегодного семинара по вычислительной теории обучения, Питтсбург (1992)
[2] Батувита, Р. и Паладе, В. (2013). Методы обучения дисбалансу классов для машин опорных векторов. В « Несбалансированном обучении» (редакторы Х. Хе и Ю. Ма). https://doi.org/10.1002/9781118646106.ch5
4 основных преимущества и недостатки метода опорных векторов или SVM | by Dhiraj K
Основные 4 преимущества и недостатки машины опорных векторов или SVM | по Дхирадж К | Medium
Вам может понравиться посмотреть видео о Дерево решений с нуля в Python
Дерево решений с нуля в Python
Вам может понравиться посмотреть видео о Градиентный спуск с нуля в Python Градиентный спуск с нуля в Python
- SVM работает относительно хорошо, когда между классами существует четкая граница разделения.
- SVM более эффективен в многомерных пространствах.
- SVM эффективен в случаях, когда количество измерений превышает количество выборок.
- SVM относительно эффективно использует память
- Алгоритм SVM не подходит для больших наборов данных.
- SVM работает не очень хорошо, когда в наборе данных больше шума, т. е. целевые классы перекрываются.
- В случаях, когда количество признаков для каждой точки данных превышает количество обучающих выборок данных, SVM будет работать хуже.
- Поскольку классификатор опорных векторов работает путем размещения точек данных выше и ниже классифицирующей гиперплоскости, нет вероятностного объяснения классификации.
Вы можете посмотреть видео о 10 самых высокооплачиваемых технологий для изучения в 2021 году
10 самых высокооплачиваемых технологий для изучения в 2021 году
Вы можете посмотреть видео о Линейная регрессия в 10 строк в Python
Линейная регрессия в Python в 10 строк
Конец примечания:
Надеюсь, вам понравилась эта статья.
Ура!!
Исследователь данных и проповедник машинного обучения. Я люблю возиться с данными. [email protected]
Любите подкасты или аудиокниги? Учитесь на ходу с нашим новым приложением.
Попробуйте знать
Рекомендовано от Medium
Tyler Folkman
в
к Data Science
Ученые для данных, вам нужно знать, как кодировать
EFUN — Web3 Prodiction Games
. Riccardo
Бесплатная автоматизированная макроэкономическая панель + руководство по Google Таблицам.
Дхирадж К.
Пять основных допущений для линейной регрессии
Трасирени
в
Искусственный интеллект в простом английском языке
Get_dummies: решение для конкурса Kaggle Titanic
TracyRepere
в
Как я выиграл бронзовую медаль на конкурсе Kaggle
High High Alpha
Alpha
High Alpha
High Alpha
High Alpha
Alpha.