Содержание
Машина опорных векторов — Введение в алгоритмы машинного обучения | by Rohith Gandhi
Модель SVM с нуля
Введение
Думаю, к настоящему времени вы уже привыкли к алгоритмам линейной регрессии и логистической регрессии. Если нет, я предлагаю вам взглянуть на них, прежде чем переходить к машине опорных векторов. Метод опорных векторов — еще один простой алгоритм, который должен быть в арсенале каждого специалиста по машинному обучению. Многие предпочитают метод опорных векторов, поскольку он обеспечивает значительную точность при меньшей вычислительной мощности. Машина опорных векторов, сокращенно SVM, может использоваться как для задач регрессии, так и для задач классификации. Но он широко используется в целях классификации.
Что такое метод опорных векторов?
Цель алгоритма машины опорных векторов — найти гиперплоскость в N-мерном пространстве (N — количество признаков), которая четко классифицирует точки данных.
Возможные гиперплоскости
Чтобы разделить два класса точек данных, можно выбрать множество возможных гиперплоскостей.
Наша цель — найти плоскость с максимальным запасом, то есть максимальным расстоянием между точками данных обоих классов. Увеличение предельного расстояния дает некоторое усиление, чтобы будущие точки данных можно было классифицировать с большей уверенностью.
Гиперплоскости и опорные векторы
Гиперплоскости в пространстве признаков 2D и 3D
Гиперплоскости — это границы решений, помогающие классифицировать точки данных. Точки данных, попадающие по обе стороны от гиперплоскости, можно отнести к разным классам. Кроме того, размер гиперплоскости зависит от количества функций. Если количество входных объектов равно 2, то гиперплоскость — это просто линия. Если число входных признаков равно 3, то гиперплоскость становится двумерной плоскостью. Становится трудно представить, когда количество признаков превышает 3.
Опорные векторы
Опорные векторы — это точки данных, расположенные ближе к гиперплоскости и влияющие на положение и ориентацию гиперплоскости. Используя эти опорные векторы, мы максимизируем запас классификатора.
Удаление опорных векторов изменит положение гиперплоскости. Это точки, которые помогают нам построить нашу SVM.
Интуиция с большим запасом
В логистической регрессии мы берем выход линейной функции и сжимаем значение в диапазоне [0,1] с помощью сигмовидной функции. Если сжатое значение больше порогового значения (0,5), мы присваиваем ему метку 1, иначе мы присваиваем ему метку 0. В SVM мы берем выход линейной функции, и если этот результат больше 1, мы идентифицируем это с одним классом, и если вывод равен -1, мы идентифицируем его с другим классом. Поскольку пороговые значения изменены на 1 и -1 в SVM, мы получаем этот диапазон значений усиления ([-1,1]), который действует как запас.
Обновления функции стоимости и градиента
В алгоритме SVM мы пытаемся максимизировать разницу между точками данных и гиперплоскостью. Функция потерь, которая помогает максимизировать маржу, называется потерями на петлях.
Функция потери шарнира (функция слева может быть представлена как функция справа)
Стоимость равна 0, если прогнозируемое значение и фактическое значение имеют один и тот же знак.
Если это не так, мы вычисляем стоимость убытка. Мы также добавляем параметр регуляризации — функцию стоимости. Цель параметра регуляризации — сбалансировать максимизацию маржи и потери. После добавления параметра регуляризации функции стоимости выглядят следующим образом.
Функция потерь для SVM
Теперь, когда у нас есть функция потерь, мы возьмем частные производные по весам, чтобы найти градиенты. Используя градиенты, мы можем обновить наши веса.
Градиенты
Когда неправильной классификации нет, т. е. наша модель правильно предсказывает класс нашей точки данных, нам нужно только обновить градиент из параметра регуляризации.
Обновление градиента — нет неправильной классификации
Когда есть неправильная классификация, т. е. наша модель делает ошибку в прогнозе класса нашей точки данных, мы включаем потерю вместе с параметром регуляризации для выполнения обновления градиента.
Обновление градиента — неправильная классификация
Реализация SVM на Python
Набор данных, который мы будем использовать для реализации нашего алгоритма SVM, — это набор данных Iris.
Вы можете скачать его по этой ссылке.
Поскольку в наборе данных Iris три класса, мы удалим один из них. Это оставляет нас с проблемой классификации бинарных классов.
Визуализация точек данных
Кроме того, нам доступны четыре функции. Мы будем использовать только две функции, то есть длину чашелистика и длину лепестка. Мы берем эти две функции и строим их для визуализации. Из приведенного выше графика вы можете сделать вывод, что для разделения точек данных можно использовать линейную линию.
Мы извлекаем необходимые функции и разделяем их на данные для обучения и тестирования. 90% данных используются для обучения, а остальные 10% — для тестирования. Давайте теперь построим нашу модель SVM, используя библиотеку numpy.
α(0,0001) — это скорость обучения, а параметр регуляризации λ установлен равным 1/эпоху. Следовательно, регуляризующее значение уменьшает количество эпох, увеличивает.
Теперь мы отсекаем веса, так как тестовые данные содержат только 10 точек данных.
Мы извлекаем функции из тестовых данных и прогнозируем значения. Мы получаем прогнозы, сравниваем их с фактическими значениями и печатаем точность нашей модели.
Точность нашей модели SVM
Существует еще один простой способ реализации алгоритма SVM. Мы можем использовать библиотеку обучения Scikit и просто вызывать соответствующие функции для реализации модели SVM. Количество строк кода значительно сокращается при слишком малом количестве строк.
Заключение
Метод опорных векторов — это элегантный и мощный алгоритм. Используйте его с умом 🙂
Машины опорных векторов для обработки антенных решеток и электромагнетизма
Аман Катариа, Викрам Пури. (2022) Гибридная модель на основе искусственного интеллекта и Интернета вещей для прогнозирования качества воздуха в умном городе с помощью сети. IET Networks 11 :6, 221-233.
Дата публикации в сети: 20 августа 2022 г.
Crossref
Абхишек Джавали, Аниндита Саху, Джаграти Гупта.
(2021) Алгоритмы машинного обучения в интеллектуальных антеннах и массивах для приложений Интернета вещей. 2021 Международная конференция по искусственному интеллекту и интеллектуальным системам (ICAIS) , 297-301.
Crossref
Huifen Huang, Xiaomin Zhu, Jiedong Bi, Wenpeng Cao, Xinchang Zhang. (2021) Машинное обучение для широкого контроля и предотвращения перегрузок в Интернете: всесторонний обзор. Доступ IEEE , 1-1.
Дата публикации в Интернете: 1 января 2021 г.
Crossref
Chong Cong, Rongrong Qian, Wenping Ren. (2020) Формирование луча минимальной выходной энергии на основе регрессии опорных векторов. 2020 6-я Международная конференция IEEE по компьютерам и коммуникациям (ICCC) , 1084-1088.
Crossref
Яшика Шарма, Хао Хелен Чжан, Хао Синь. (2020) Методы машинного обучения для оптимизации конструкции двойной Т-образной несимметричной антенны. Транзакции IEEE на антеннах и распространение , 1-1.
Дата публикации в Интернете: 1 января 2020 г.
Crossref
Ф. Ричард Ю, Ин Хе. 2019. Введение в машинное обучение. Глубокое обучение с подкреплением для беспроводных сетей, 1-13.
Crossref
А. Фэй, Дж. Д. Ндав, М. Сене. (2018) Оценка DOA на основе SVM с оптимизацией классификации. 26-й Телекоммуникационный Форум 2018 (TELFOR) , 1-4.
Crossref
Ли Канг-Ин, Юнг Сан-Хун, Рю Хонг-Гюн, Юн Юн Юнг, Нам Нам Сан-Вук, Чанг Ён-Сик. (2018) Исследование формирования луча конформной антенной решетки с использованием поддержки
Векторная регрессия. Журнал Корейского института электромагнитной инженерии и
Наука 29 :11, 868-877.
Дата публикации в Интернете: 30 ноября 2018 г.
Crossref
А. Масса, Г. Оливери, М. Салуччи, Н. Ансельми, П. Рокка. (2018) Методы обучения на примерах применительно к электромагнетизму. Журнал электромагнитных волн и приложений 32 :4, 516.
Crossref
Фулай Лю, Ифань Ву, Хань Дуань, Руйян Ду.
(2018) АЛГОРИТМ SVR-CMT ДЛЯ НУЛЕВОГО УШИРЕНИЯ И УПРАВЛЕНИЯ БОКОВЫМИ ЛЕПЯМИ. Прогресс в исследованиях электромагнетизма 163 , 39-50.
Дата публикации в Интернете: 1 января 2018 г.
Crossref
Selvakumar Ulaganathan, Slawomir Koziel, Adrian Bekasiewicz, Ivo Couckuyt, Eric Laermans, Tom Dhaene. (2015) Экономичное моделирование антенных конструкций с использованием кригинга с улучшенным градиентом. 2015 Loughborough Antennas & Propagation Conference (LAPC) , 1-5.
Crossref
Славомир Козель. (2015) Быстрое проектирование антенны на основе моделирования с использованием заменителей характеристик отклика. Международный журнал радиочастотной и микроволновой компьютерной техники 25 : 5, 394-402.
Дата публикации в Интернете: 6 ноября 2014 г.
Crossref
Дж. Питер Джейкобс, Славомир Козель. (2014) Экономичное двухэтапное моделирование гауссовского процесса антенн. 8-я Европейская конференция по антеннам и радиопередаче (EuCAP 2014) , 88-90.
Crossref
Славомир Козель, Цинша С. Ченг, Джон В. Бэндлер. (2014) Быстрое электромагнитное моделирование с использованием прогнозирования отклика с сохранением формы и пространственного картирования. IEEE Transactions on Microwave Theory and Techniques 62 :3, 399-407.
Дата публикации в Интернете: 1 марта 2014 г.
Crossref
Славомир Козель, Лейфур Лейфссон. (2013) Коррекция многоточечного отклика для экономичного проектирования антенных конструкций на основе электромагнитного моделирования. Microwave and Optical Technology Letters 55 :9, 2070-2074.
Дата публикации в Интернете: 27 июня 2013 г.
Crossref
Рауф Голами, Вамег Расули, Андише Алиморади. (2013) Улучшенная классификация горных массивов RMR с использованием алгоритмов искусственного интеллекта. Механика горных пород и горная инженерия 46 :5, 1199-1209.
Дата публикации в Интернете: 29 ноября 2012 г.
Crossref
М.
Мохаммаднежад, Р. Голами, Ф. Серешки, А. Джамшиди. (2013) Новая методология прогнозирования обратного хода при взрывных работах. Международный журнал горной механики и горных наук 60 , 75-81.
Дата публикации в Интернете: 1 июня 2013 г.
Crossref
Славомир Козель, Джон В. Бэндлер, Цинша С. Ченг. (2013) Моделирование микроволновых компонентов по сниженной стоимости с использованием суррогатов кригинга на основе электромагнитного картирования с улучшенным космическим картированием. Международный журнал численного моделирования: электронные сети, устройства и поля 26 : 3, 275-286.
Дата публикации в Интернете: 12 октября 2012 г.
Crossref
Славомир Козель, Станислав Огурцов, Иво Кукуйт, Том Дэне. (2013) Электромагнитное моделирование с переменной точностью и совместный кригинг для точного моделирования антенн. Транзакции IEEE по антеннам и распространению 61 :3, 1301-1308.
Дата публикации в Интернете: 1 марта 2013 г.
Crossref
Иво Кокуйт, Славомир Козиэль, Том Даэне. (2013) Суррогатное моделирование микроволновых структур с использованием кригинга, совместного кригинга и космического картирования. Международный журнал численного моделирования: электронные сети, устройства и поля 26 : 1, 64-73.
Дата публикации в Интернете: 15 марта 2012 г.
Crossref
Славомир Козель, Станислав Огурцов, Лейфур Лейфссон. (2013) Физические суррогаты для недорогого моделирования микроволновых структур. Procedia Computer Science 18 , 869-878.
Дата публикации в Интернете: 1 января 2013 г.
Crossref
М. Мохаммаднежад, Р. Голами, А. Рамезанзаде, М. Е. Джалали. (2012) Прогноз вибрации, вызванной взрывом, в известняковых карьерах с использованием машины опорных векторов. Journal of Vibration and Control 18 :9, 1322-1329.
Дата публикации в Интернете: 30 сентября 2011 г.
Crossref
Джакомо Оливери, Паоло Рокка, Андреа Масса.
(2012) SVM для электромагнетизма: современное состояние, возможности и тенденции. Материалы Международного симпозиума IEEE 2012 г. по антеннам и распространению , 1-2.
Crossref
Славомир Козель, Джон В. Бэндлер. (2012) Точное моделирование микроволновых устройств с использованием суррогатов пространственного картографирования с поправкой на кригинг. Международный журнал численного моделирования: электронные сети, устройства и поля 25 : 1, 1-14.
Дата публикации в Интернете: 3 февраля 2011 г.
Crossref
С. Козель, С. Огурцов, С. Щепански. (2012) Быстрая оптимизация конструкции антенны с использованием прогнозирования отклика с сохранением формы. Бюллетень Польской академии наук: Технические науки 60 :1.
Дата публикации в Интернете: 1 января 2012 г.
Crossref
Цзинь-Чжу ЧЖОУ, Цзинь ХУАН. (2011) Линейное программирование с несколькими ядрами поддерживает векторную регрессию с учетом предшествующих знаний.