Обучение искусственной нейронной сети с использованием гибридного алгоритма оптимизации PSOJaya

Е. М. Казакова

---

Аннотация. Метод оптимизации роем частиц (PSO – Particle swarm optimization) и Jaya – это эвристические алгоритмы оптимизации, которые используются для поиска оптимальных решений в задачах оптимизации. Каждый из этих методов имеет свои сильные и слабые стороны, и выбор между ними зависит от конкретной задачи оптимизации и требований к производительности. В данной работе
предлагается гибрид алгоритмов PSO и Jaya для повышения эффективности оптимизации. В этой статье PSO, Jaya, PSOJaya используются в качестве методов обучения искусственной нейронной сети
(ИНС) для задачи классификации набора данных Balance Scale. Результаты работы гибридного алгоритма сравниваются с результатами алгоритмов Backpropagation (метод обратного распространения
ошибки), PSO, Jaya. В тестовых расчетах алгоритмы сравниваются на основе среднего значения, медианы, стандартного отклонения и «лучшего» минимального значения ошибок после 30 симуляций.
Результаты эксперимента показывают, что ИНС, обученная с помощью PSOJaya, имеет лучшую точность, чем обученные с помощью Backpropagation, PSO и Jaya.

Ключевые слова: эвристический алгоритм, оптимизация, метод роя частиц (PSO), Jaya, метод обратного распространения ошибки (Backpropagation), гибридный алгоритм, конвейерная гибридизация, ИНС, классификация

Для цитирования. Казакова Е. М. Обучение искусственной нейронной сети с использованием гибридного алгоритма оптимизации PSOJaya // Известия Кабардино-Балкарского научного центра РАН. 2023. № 6(116). С. 95–102. DOI: 10.35330/1991-6639-2023-6-116-95-102

Информация об авторе

Казакова Елена Мусовна, мл. науч. сотр. отдела нейроинформатики и машинного обучения, Институт прикладной математики и автоматизации – филиал Кабардино-Балкарского научного
центра Российской академии наук;
360000, Россия, г. Нальчик, ул. Шортанова, 89 А;
shogenovae@inbox.ru, ORCID: https://orcid.org/0000-0002-5819-9396

Список литературы

1. Kennedy J., Eberhart R. Particle Swarm Optimization. IEE International Conference on Neural Networks. 1995. Pp. 1942–1948. DOI: 10.1109/ICNN.1995.488968
2. Rao R. Jaya: A simple and new optimization algorithm for solving constrained and unconstrained optimization problems. Int J Indus Eng Comput. 2016. Vol. 1. No. 7. Pp. 19–34. DOI: 10.5267/j.ijiec.2015.8.004
3. Карпенко А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 2 издание. М.: МГТУ им. Н. Э. Баумана, 2017. 446 с.
4. Garg H. A hybrid PSO-GA algorithm for constrained optimization problems. Applied Mathematics and Computation. 2016. Vol. 274. Pp. 292–305. DOI: 10.1016/j.amc.2015.11.001
5. Mirjalili S., Hashim S.-Z.M. A new hybrid PSOGSA algorithm for function optimization. Proceedings of ICCIA 2010-2010 International Conference on Computer and Information Application. 2010. Pp. 374–377. DOI: 10.1109/ICCIA.2010.6141614
6. Şenel F.A., Gökçe F. Yüksel A.S. et al. A novel hybrid PSO–GWO algorithm for optimization problems. Engineering with Computers. 2019. Vol. 35. Pp. 1359–1373. DOI: 10.1007/s00366-018-0668-5
7. Zhou Y., Shengyu P.A. Hybrid Co-evolutionary particle swarm optimization algorithm for solving constrained engineering design problems. J. Comput. 2010. Vol. 6. No. 5. Pp. 965–972. DOI: 10.4304/jcp.5.6.965-972
8. Mirjalili S.A., Hashim S.-Z.M., Sardroudi H.M. Training feedforward neural networks using hybrid particle swarm optimization and gravitational search algorithm. Applied Mathematics and Computation. 2012. Vol. 22. No. 218. Pp. 11125–11137. DOI: 10.1016/j.amc.2012.04.069
9. Junior F.-E.F., Yen G.G. Particle swarm optimization of deep neural networks architectures for image classification. Swarm and Evolutionary Computation. Vol. 49. 2019. Pp. 62–74. DOI: 10.1016/j.swevo.2019.05.010
10. Garro B.A., Vázquez R.A. Designing artificial neural networks using particle swarm optimization algorithms. Computational intelligence and neuroscience. 2015. P. 61. DOI: 10.1155/2015/369298
11. Zhang J.R., Zhang J., Lok T.M., Lyu M.R. A hybrid particle swarm optimization–backpropagation algorithm for feedforward neural network training. Applied mathematics and computation. 2007. Vol. 2. No. 185. Pp. 1026–1037.
12. Siegler R. Balance Scale. UCI Machine Learning Repository. 1994. https://doi.org/10.24432/C5488X.