Мультиагентный алгоритм интерпретации пар «изображение-текст» на основе обучения нейрокогнитивных архитектур
И. А. Пшенокова, К. Ч. Бжихатлов, И. А. Мамбетов
Аннотация. Современные мультимодальные системы искусственного интеллекта добились значительных успехов в автоматическом аннотировании изображений благодаря глубокому обучению и наборам данных. Однако существующие нейросетевые модели требуют больших вычислительных мощностей и больших объемов размеченных данных. Кроме того, классические нейросети часто игнорируют контекст и тонкие человеческие эмоции. Это ограничивает их применение в задачах, требующих глубокого понимания ситуации.
Цель исследования – повышения полноты и точности семантического выравнивания разнородных данных при интерпретации пар «изображение-текст» в динамических средах. Для этого разработан мультиагентный алгоритм сопоставления модальностей на основе самоорганизующихся нейрокогнитивных представлений, обеспечивающий прямую интерпретируемость принимаемых решений. Исследование направлено на моделирование процесса понимания текста и изображений интеллектуальным агентом как процесса самоорганизации мультиагентной нейрокогнитивной архитектуры.
Методы исследования. В работе применен мультиагентный нейрокогнитивный подход, который основан на самоорганизации нейроподобных элементов, составляющих функциональные узлы управляющей когнитивной архитектуры программного агента или автономного мобильного робота. Нейроподобие проявляется в использовании принципов нейропластичности головного мозга при формировании в составе когнитивной архитектуры динамических функциональных систем (по Анохину), обеспечивающих автономное принятие решений и управление в задачах распознавания и интерпретации пар «изображение-текст».
Результаты. Разработана многоуровневая архитектура, включающая уровни рецепции, представления знаний, контекста, мотивации, управления и действия. Предложен алгоритм, позволяющий системе не просто сопоставлять пиксели с текстом, а встраивать их в «жизненный опыт» агента через моторные акты и целеполагание. Методом имитационного моделирования в виртуальной среде верифицирована логика работы разработанной архитектуры и подтверждена ее способность адаптироваться к контексту без использования предварительно размеченных сквозных выборок, что закладывает основу для создания интерпретируемых нейрокогнитивных моделей искусственного интеллекта. На качественном уровне продемонстрирована стабильность модели энергообмена и принципиальная возможность интеграции текстовых и визуальных паттернов в прагматику поведения агента.
Ключевые слова: мультиагентное моделирование, нейрокогнитивные архитектуры, распознавание образов, интеллектуальный агент, искусственный интеллект
Для цитирования. Пшенокова И. А., Бжихатлов К. Ч., Мамбетов И. А. Мультиагентный алгоритм интерпретации пар «изображение-текст» на основе обучения нейрокогнитивных архитектур // Известия Кабардино-Балкарского научного центра РАН. 2026. Т. 28. № 5. С. 37–48. DOI: 10.35330/1991-6639-2026-28-5-37-48
© Пшенокова И. А., Бжихатлов К. Ч., Мамбетов И. А., 2026

Контент доступен под лицензией Creative Commons Attribution 4.0 License
Список литературы
- Deng J., Dong W., Socher R. et al. ImageNet: A large-scale hierarchical image database. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2009. DOI: 10.1109/CVPR.2009.5206848
- Lin T.Y., Maire M., Belongie S. et al. Microsoft coco: Common objects in context. European conference on computer vision. Cham: Springer International Publishing, 2014. Pp. 740–755. DOI: 10.1007/978-3-319-10602-1_48
- Parekh Z., Baldridge J., Daniel C. et al. Crisscrossed captions: Extended intramodal and intermodal semantic similarity judgments for MS-COCO. Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main. Vol. 2021. Pp. 2855–2870. DOI: 10.48550/arXiv.2503.20020
- Plummer B.A., Wang L., Chris M. Cervantes et al. Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models. Proceedings of the IEEE international conference on computer vision. 2015. Pp. 2641–2649.
- Zhao Z., Liu Yu., We H. et al. CLIP in medical imaging: A survey. Medical Image Analysis. Vol. 102. P. 103551. DOI: 10.1016/j.media.2025.103551
- Goel A., Ghosh S., Kim J. et al. Audio flamingo 3: Advancing audio intelligence with fully open large audio language models. arXiv preprint arXiv:2507.08128. 2025. DOI: 10.48550/arXiv.2507.08128
- Wang J., Meng L., Weng Z. et al. To see is to believe: Prompting gpt-4v for better visual instruction tuning. arXiv preprint arXiv:2311.07574. 2023. DOI: 10.48550/arXiv.2311.07574
- Yang D., Kleinman E., Harteveld C. GPT for games: An updated scoping review (2020–2024). IEEE Transactions on Games. 2025. DOI: 10.1109/TG.2025.3563780
- Team G.R. et al. Gemini robotics: Bringing ai into the physical world. arXiv preprint arXiv:2503.20020. 2025. DOI: 10.48550/arXiv.2503.20020
- Goncharova E., Razzhigaev A., Mikhalchuk M. et al. Omnifusion technical report. arXiv preprint arXiv:2404.06212. 2024. DOI: 10.48550/arXiv.2404.06212
- Fattah F.H., Salih A.M., Salih A.M. et al. Comparative analysis of ChatGPT and Gemini (Bard) in medical inquiry: a scoping review. Frontiers in Digital Health. 2025. Vol. 7. P. 1482712. DOI: 10.3389/fdgth.2025.1482712
- Fuchs A., Trachsel T., Weiger R. et al. ChatGPT’s performance in dentistry and allergyimmunology assessments: a comparative study. SWISS DENTAL JOURNAL SSO–Science and Clinical Topics. 2024. Vol. 134. No. 2. Pp. 1–17. DOI: 10.61872/sdj-2024-06-01
- Finet A., Kristoforidis K., Laznicka J. The limits of ai in understanding emotions: challenges in bridging human experience and machine perception. F1000Research. 2025. Vol. 14. P. 582.
- Li Y., Sun Q., Schlicher M., Lim Y. W., & Schuller B. W. Artificial emotion: A survey of theories and debates on realising emotion in artificial intelligence. arXiv preprint arXiv:2508.10286. DOI: 10.48550/arXiv.2508.10286
- Bougzime O., Jabbar S., Cruz C., Demoly F. Unlocking the potential of generative AI through neuro-symbolic architectures: Benefits and limitations. arXiv preprint arXiv:2502.11269. DOI: 10.48550/arXiv.2502.11269
- Sutton R.S., Barto A.G., Barto A. Reinforcement learning: An introduction. Cambridge: MIT press, 1998. Vol. 1. No. 1. Pp. 9–11.
- Нагоев З. В. Интеллектика, или Мышление в живых и искусственных системах / Нальчик: Издательство КБНЦ РАН, 2013. С. 211.
- Анохин П. К. Очерки по физиологии функциональных систем. Рипол Классик, 1975.
- Куницына О. М. Сравнительный анализ понимания текста человеком и искусственным интеллектом // Вестник Московского государственного лингвистического университета. Гуманитарные науки. 2025. Вып. 2 (896). С. 81–88.
- Нагоев З. В., Нагоева О. В. Обоснование символов и мультиагентные нейрокогнитивные модели семантики естественного языка. Нальчик: Издательство КБНЦ РАН, 2022 г. 150 с.
- Пшенокова И. А., Апшев А. З. Модель энергообмена между агнейронами в составе мультиагентной нейрокогнитивной архитектуры // Известия Кабардино-Балкарского научного центра РАН. 2023. № 5(115). С. 32–40. DOI: 10.35330/1991-6639-2023-5-115-32-40
- Бжихатлов К. Ч., Пшенокова И. А., Мамбетов И. А. и др. Программная реализация редактора мультиагентных нейрокогнитивных архитектур // Информационное общество. № 1. С. 108–121. DOI: 10.52605/16059921_2026_01_108
Информация об авторах
Пшенокова Инна Ауесовна, канд. физ.-мат. наук, зав. отделом «Мультиагентные системы», Институт информатики и проблем регионального управления – филиал Кабардино-Балкарского научного центра Российской академии наук;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
pshenokova_inna@mail.ru, ORCID: https://orcid.org/0000-0003-3394-7682, SPIN-код: 3535-2963
Бжихатлов Кантемир Чамалович, канд. физ.-мат. наук, директор Института информатики и проблем регионального управления – филиала Кабардино-Балкарского научного центра Российской академии наук;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
haosit13@mail.ru, ORCID: https://orcid.org/0000-0003-0924-0193, SPIN-код: 9551-5494
Мамбетов Идар Арсенович, мл. науч. сотр. отдела «Интеллектуальные системы и виртуальное прототипирование», Институт информатики и проблем регионального управления – филиал Кабардино-Балкарского научного центра Российской академии наук;
360000, Россия, г. Нальчик, ул. И. Арманд, 37-а;
idar.mam12@gmail.com, ORCID: https://orcid.org/0000-0003-0903-4234
Финансирование
Работа выполнена в рамках государственного задания Минобрнауки России для ИИПРУ КБНЦ РАН (тема № 125032004242-7).










