Робастная модификация PSO на основе M-средних для решения задач линейной регрессии

Е. М. Казакова

---

Аннотация. Линейная регрессия остается одним из базовых инструментов анализа данных, однако ее устойчивость резко снижается в присутствии выбросов и шумов, что приводит к искажению коэффициентов и снижению качества прогноза. Классические эвристические алгоритмы оптимизации, такие как Particle Swarm Optimization (PSO) и Jaya, показывают хорошие результаты на гладких функциях потерь, но оказываются чувствительными к выбросам при применении стандартной среднеквадратичной ошибки (MSE). Это создает потребность в разработке простых, но робастных модификаций, которые сохраняли бы глобальные поисковые свойства, не усложняя структуру базового алгоритма.

Цель исследования. Разработать и экспериментально оценить робастную модификацию PSO (PSO-Robust), обеспечивающую устойчивость линейной регрессии к выбросам без усложнения основного алгоритма и без введения дополнительных гиперпараметров.

Методы исследования.Алгоритмическая идея: сохранить стандартные уравнения движения PSO; вмешательство только в функцию пригодности. Вместо среднеквадратичной функции потерь используются M-средние на базе функции Хьюбера с адаптивными весами, уменьшающими вклад выбросов. Вычислительные эксперименты на синтетических данных (15 % и 25 % выбросов) выполнены при одинаковых гиперпараметрах для всех сравниваемых алгоритмов и 30 независимых перезапусках. Оценка по средним и медианным тестовым ошибкам, а также по разбросу (дисперсия, межквартильный размах). Визуальный анализ – boxplot распределений ошибок и линии регрессии.

Результаты. PSO-Robust устойчиво превосходит классический PSO и Jaya по средним и медианным тестовым ошибкам. Наблюдается меньший разброс результатов (дисперсия). Визуальный анализ подтверждает сниженную чувствительность к выбросам (более компактные boxplot, более адекватные регрессионные линии).

Заключение. Модификация PSO-Robust демонстрирует стабильное превосходство над исходными алгоритмами по точности и устойчивости, обеспечивая более компактные boxplot и менее искаженные регрессионные линии. Предложенный подход сочетает простоту реализации с робастностью, повышая надежность регрессионных моделей в условиях неоднородных данных. Перспективы развития включают расширение метода на многомерные и нелинейные модели, а также исследование альтернативных робастных функций потерь.

Ключевые слова: эвристические алгоритмы, Particle Swarm Optimization (PSO), Jaya, выбросы, робастность, линейная регрессия, М-средние, функция Хьюбера, оптимизация

Для цитирования. Казакова Е. М. Робастная модификация PSO на основе M-средних для решения задач линейной регрессии // Известия Кабардино-Балкарского научного центра РАН. 2025. Т. 27. № 6. С. 109–116. DOI: 10.35330/1991-6639-2025-27-6-109-116

Список литературы

1. Kennedy J., Eberhart R. Particle swarm optimization. Proc. IEEE Int. Conf. on Neural Networks (ICNN). 1995. Pp. 1942–1948. DOI: 10.1109/ICNN.1995.488968
2. Rao R. Jaya: A simple and new optimization algorithm for solving constrained and unconstrained optimization problems. Int. J. Indus. Eng. Comput. 2016. Vol. 1. No. 7. Pp. 19–34. DOI: 10.5267/j.ijiec.2015.8.004
3. Shibzukhov Z.M. On a robust gradient boosting scheme based on aggregation functions insensitive to outliers. Automation and Remote Control. 2022. Vol. 83. No. 10. Pp. 1619–1629. DOI: 10.1134/S00051179220100149
4. Шибзухов З. М., Димитриченко Д. П., Казаков М. А. Принцип минимизации эмпирического риска на основе агрегирующих функций средних потерь для решения задач регрессии // Программные продукты и системы. 2017. Т. 30. № 2. С. 180–186. DOI: 10.15827/0236-235X.030.2.180-186
5. Zeng J., Yu X., Yang G., Gui H. Dynamic robust particle swarm optimization algorithm based on hybrid strategy. International Journal of Swarm Intelligence Research (IJSIR). 2023. Vol. 14. No. 1. Pp. 1–14. DOI: 10.4018/IJSIR.325006
6. Garg H. A hybrid PSO–GA algorithm for constrained optimization problems. Applied Mathematics and Computation. 2016. Vol. 274. Pp. 292–305. DOI: 10.1016/j.amc.2015.11.001
7. Şenel F.A., Gökçe F., Yüksel A.S., Yigit T. A novel hybrid PSO–GWO algorithm for optimization problems. Engineering with Computers. 2019. Vol. 35. Pp. 1359–1373. DOI: 10.1007/s00366-018-0668-5
8. Kang H., Li X., Shen Yo. et al. Particle swarm optimization with historical return decay enhances cooperation in public goods games with investment risks. Chaos, Solitons & Fractals. Vol. 189. P. 115665. DOI: 10.1016/j.chaos.2024.115665
9. Казакова Е. М. Гибридный алгоритм PSO–Jaya для решения различных оптимизационных задач // Программная инженерия. 2024. Т. 15. № 2. С. 87–96. DOI: 10.17587/prin.15.87-96
10. Huber P.J. Robust Statistics: monograph. New York: Wiley, 1981. 308 p. ISBN: 0-471-41805-6

Информация об авторе

Казакова Елена Мусовна, мл. науч. сотр. отдела нейроинформатики и машинного обучения, Институт прикладной математики и автоматизации – филиал Кабардино-Балкарского научного центра Российской академии наук;
360000, Россия, г. Нальчик, ул. Шортанова, 89 А;
shogenovae@inbox.ru, ORCID: https://orcid.org/0000-0002-5819-9396, SPIN-код: 4135-3315