News of the Kabardino-Balkarian Scientific Center of the Russian Academy of SciencesNews of the Kabardino-Balkarian Scientific Center of the Russian Academy of SciencesИзвестия Кабардино-Балкарского научного центра РАН1991-66392949-194039146510.35330/1991-6639-2023-6-116-95-102DVFIYHИнформатика и информационные процессыInformatics and information processesResearch ArticleTraining an artificial neural network using the PSOJaya hybrid optimization algorithmОбучение искусственной нейронной сети с использованием гибридного алгоритма оптимизации PSOJayahttps://orcid.org/0000-0002-5819-9396КазаковаЕлена МусовнаKazakovaE. M.
Russian Federation

мл. науч. сотр. отдела нейроинформатики и машинного обучения

Junior Researcher of the Department of Neuroinformatics and Machine Learning

shogenovae@inbox.ruInstitute of Applied Mathematics and Automation – branch of Kabardino-Balkarian Scientific Center of the Russian Academy of SciencesИнститут прикладной математики и автоматизации – филиал Кабардино-Балкарского научного центра Российской академии наукru2205202620236NO6 (2023)№6 (2023)9510205032026Copyright ©; 2026, Казакова Е.М.Copyright ©; 2026, Kazakova E.M.2026Казакова Е.М.Kazakova E.M.https://creativecommons.org/licenses/by/4.0https://journals.rcsi.science/1991-6639/article/view/391465

Particle swarm optimization (PSO) and Jaya are heuristic optimization algorithms that are used to find optimal solutions in optimization problems. Each of these methods has its own advantages and disadvantages, and the choice between them depends on the specific optimization problem and performance requirements. This paper proposes a hybrid of PSO and Jaya algorithms to improve optimization efficiency. In this paper PSO, Jaya, PSOJaya are used as artificial neural network (ANN) training methods for the classification task on the Balance Scale dataset. The results of the hybrid algorithm are compared with the results of the Backpropagation, PSO and Jaya algorithms based on the mean, median, standard deviation, and "best" minimum error value after 30 simulations. The experiment results show that the ANN trained with PSOJaya has higher accuracy than the one trained with Backpropagation, PSO and Jaya.

Метод оптимизации роем частиц (PSO) и алгоритм Jaya – это эвристические алгоритмы оптимизации, которые используются для поиска оптимальных решений в задачах оптимизации. Каждый из этих методов имеет свои сильные и слабые стороны, и выбор между ними зависит от конкретной задачи оптимизации и требований к производительности. В данной работе предлагается гибрид алгоритмов PSO и Jaya для повышения эффективности оптимизации. В этой статье PSO, Jaya и PSOJaya используются в качестве методов обучения искусственной нейронной сети (ИНС) для задачи классификации набора данных Balance Scale. Результаты работы гибридного алгоритма сравниваются с результатами алгоритмов Backpropagation (метод обратного распространения ошибки), PSO, Jaya. В тестовых расчетах алгоритмы сравниваются на основе среднего значения, медианы, стандартного отклонения и «лучшего» минимального значения ошибок после 30 симуляций. Результаты эксперимента показывают, что ИНС, обученная с помощью PSOJaya, имеет лучшую точность, чем обученные с помощью Backpropagation, PSO и Jaya.

эвристический алгоритмоптимизацияметод роя частиц (PSO)Jayaметод обратного распространения ошибки (Backpropagation)гибридный алгоритмконвейерная гибридизацияИНСклассификацияheuristic algorithmoptimizationparticle swarm method (PSO)JayaBackpropagationhybrid algorithmpipeline hybridizationANNclassification1. Kennedy J., Eberhart R. Particle Swarm Optimization. Neural Networks. 1995. Pp. 1942–1948. DOI: 10.1109/ICNN.1995.488968Kennedy J., Eberhart R. Particle Swarm Optimization. Neural Networks. 1995. Pp. 1942–1948. DOI: 10.1109/ICNN.1995.4889682. Rao R. Jaya: A simple and new optimization algorithm for solving constrained and unconstrained optimization problems. Int J Ind Eng Comput. 2016. Vol. 1. No. 7. Pp. 19–34. DOI: 10.5267/j.ijiec.2015.8.004Rao R. Jaya: A simple and new optimization algorithm for solving constrained and unconstrained optimization problems. Int J Ind Eng Comput. 2016. Vol. 1. No. 7. Pp. 19–34. DOI: 10.5267/j.ijiec.2015.8.0043. Карпенко А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 2 издание. М.: МГТУ им. Н. Э. Баумана, 2017. 446 с.Карпенко А. П. Современные алгоритмы поисковой оптимизации. Алгоритмы, вдохновленные природой. 2 издание. М.: МГТУ им. Н. Э. Баумана, 2017. 446 с.4. Garg H. A hybrid PSO-GA algorithm for constrained optimization problems. Applied Mathematics and Computation. 2016. Vol. 274. Pp. 292–305. DOI: 10.1016/j.amc.2015.11.001Garg H. A hybrid PSO-GA algorithm for constrained optimization problems. Applied Mathematics and Computation. 2016. Vol. 274. Pp. 292–305. DOI: 10.1016/j.amc.2015.11.0015. Mirjalili S., Hashim S.-Z.M. A new hybrid PSOGSA algorithm for function optimization. Proceedings of ICCIA 2010-2010 International Conference on Computer and Information Application. 2010. Pp. 374–377. DOI: 10.1109/ICCIA.2010.6141614Mirjalili S., Hashim S.-Z.M. A new hybrid PSOGSA algorithm for function optimization. Proceedings of ICCIA 2010-2010 International Conference on Computer and Information Application. 2010. Pp. 374–377. DOI: 10.1109/ICCIA.2010.61416146. Şenel F.A., Gökçe F. Yüksel A.S. et al. A novel hybrid PSO–GWO algorithm for constrained optimization problems. Engineering with Computers. 2019. Vol. 35. Pp. 1359–1373. DOI: 10.1007/s00366-018-0668-5Şenel F.A., Gökçe F. Yüksel A.S. et al. A novel hybrid PSO–GWO algorithm for constrained optimization problems. Engineering with Computers. 2019. Vol. 35. Pp. 1359–1373. DOI: 10.1007/s00366-018-0668-57. Zhou Y., Shengyu P.A. Hybrid Co-evolutionary particle swarm optimization algorithm for solving constrained engineering design problems. J. Comput. 2010. Vol. 6. No. 5. Pp. 965–972. DOI: 10.4304/jcp.5.6.965-972Zhou Y., Shengyu P.A. Hybrid Co-evolutionary particle swarm optimization algorithm for solving constrained engineering design problems. J. Comput. 2010. Vol. 6. No. 5. Pp. 965–972. DOI: 10.4304/jcp.5.6.965-9728. Mirjalili S.A., Hashim S.-Z.M., Sardroudi H.M. Training feedforward neural networks using hybrid particle swarm optimization and gravitational search algorithm. Applied Mathematics and Computation. 2012. Vol. 22. No. 218. Pp. 11125–11137. DOI: 10.1016/j.amc.2012.04.069Mirjalili S.A., Hashim S.-Z.M., Sardroudi H.M. Training feedforward neural networks using hybrid particle swarm optimization and gravitational search algorithm. Applied Mathematics and Computation. 2012. Vol. 22. No. 218. Pp. 11125–11137. DOI: 10.1016/j.amc.2012.04.0699. Junior F.-E.F., Yen G.G. Particle swarm optimization of deep neural networks architectures for image classification. Swarm and Evolutionary Computation. Vol. 49. 2019. Pp. 62–74. DOI: 10.1016/j.swevo.2019.05.010Junior F.-E.F., Yen G.G. Particle swarm optimization of deep neural networks architectures for image classification. Swarm and Evolutionary Computation. Vol. 49. 2019. Pp. 62–74. DOI: 10.1016/j.swevo.2019.05.01010. Garro B.A., Vázquez R.A. Designing artificial neural networks using particle swarm optimization algorithms. Computational intelligence and neuroscience. 2015. P. 61. DOI: 10.1155/2015/369298Garro B.A., Vázquez R.A. Designing artificial neural networks using particle swarm optimization algorithms. Computational intelligence and neuroscience. 2015. P. 61. DOI: 10.1155/2015/36929811. Zhang J.R., Zhang J., Lok T.M., Lyu M.R. A hybrid particle swarm optimization–backpropagation algorithm for feedforward neural network training. Applied mathematics and computation. 2007. Vol. 2. No. 185. Pp. 1026–1037.Zhang J.R., Zhang J., Lok T.M., Lyu M.R. A hybrid particle swarm optimization–backpropagation algorithm for feedforward neural network training. Applied mathematics and computation. 2007. Vol. 2. No. 185. Pp. 1026–1037.