News of the Kabardino-Balkarian Scientific Center of the Russian Academy of SciencesNews of the Kabardino-Balkarian Scientific Center of the Russian Academy of SciencesИзвестия Кабардино-Балкарского научного центра РАН1991-66392949-194028211710.35330/1991-6639-2024-26-6-208-218JSKNGGSystem analysis, management and information processingСистемный анализ, управление и обработка информацииResearch ArticleModification of a deep learning algorithm for distributing functions and tasks between a robotic complex and a person in conditions of uncertainty and variability of the environmentМодификация алгоритма глубокого обучения для распределения функций и задач между робототехническим комплексом и человеком в условиях неопределенности и переменности окружающей средыhttps://orcid.org/0000-0003-2352-992X1734-9056ШереужевМ. А.ShereuzhevM. А.
Russian Federation

кан. тех. наук, мл. науч. сотр., Центр когнитивных технологий и систем технического зрения, старший преподаватель, кафедра «Робототехнические системы и мехатроника»

Candidate of Engineering Sciences, Junior Research, Center for Cognitive Technologies and Machine Vision Systems, Senior Teacher, The Department of Robotic Systems and Mechatronics

m.shereuzhev@stankin.ruГоУGuoWu
Russian Federation

аспирант кафедры «Робототехнические системы и мехатроника»

Post-graduate Student at the Department of Robotic Systems and Mechatronics

ug@student.bmstu.ruhttps://orcid.org/0000-0003-1182-21175410-8433SerebrennyV. V.СеребренныйВ. В.
Russian Federation

Candidate of Engineering Sciences, Associate Professor, Head of the Department of Robotic Systems and Mechatronics

кан. тех. наук, доцент, зав. кафедрой «Робототехнические системы и мехатроника»

vsereb@bmstu.ruMoscow State University of Technology STANKINМосковский государственный технологический университет «СТАНКИН»Moscow State Technical University named after N. E. BaumanМосковский государственный технический университет имени Н. Э. Бауманаru1512202420242662082180203202502032025Copyright ©; 2024, Шереужев М.А., Го У., Серебренный В.V.Copyright ©; 2024, Шереужев М.А., Го У., Серебренный В.В.2024Шереужев М.А., Го У., Серебренный В.V.Шереужев М.А., Го У., Серебренный В.В.https://creativecommons.org/licenses/by/4.0https://journals.rcsi.science/1991-6639/article/view/282117

In the real world, conditions are rarely stable, which requires robotic systems to be able to adapt to uncertainty. Human-robot collaboration increases productivity, but this requires effective task allocation methods that consider the characteristics of both parties. The aim of the work is to determine optimal strategies for distributing tasks between people and collaborative robots and adaptive control of a collaborative robot under uncertainty and a changing environment. Research methods. The paper develops a graph-based approach to task allocation based on the capabilities of a human and a robot. The LSTM memory mechanism is built into the reinforcement learning algorithm to solve the problem of partial observability caused by inaccurate sensor measurements and environmental noise. The Hindsight Experience Replay method is used to overcome the problem of sparse rewards. Results. The trained model demonstrated stable convergence, achieving a high level of success rate of manipulation of objects. The integration of LSTM and HER methods into reinforcement learning allows solving the problems of distributing tasks between a human and a robot under uncertainty and a changing environment. The proposed method can be applied in various scenarios for collaborative robots in complex and changing conditions.

В реальном мире условия редко бывают стабильными, что требует от робототехнических комплексов (РТК) способности к адаптации в условиях неопределенности. Синергия человека и робота повышает производительность, однако для этого необходимы эффективные методы распределения задач, учитывающие особенности обеих сторон. Целью работы является определение оптимальных стратегий распределения задач между людьми и РТК и адаптивное управление РТК в условиях неопределенности и изменяющейся среды. Методы исследования. В работе предложен графовый подход к распределению задач, основанный на возможностях человека и робота. В алгоритм обучения с подкреплением встроен механизм памяти LSTM (Long short-term memory) для решения проблемы частичной наблюдаемости, вызванной неточностью измерений сенсоров и шумом окружающей среды. Метод HER (Hindsight Experience Replay) применен для преодоления проблемы скудных вознаграждений. Результаты. Обученная модель продемонстрировала стабильную сходимость, достигая высокого уровня успешности манипуляции объектами. Интеграция методов LSTM и HER в обучение с подкреплением позволяет успешно решать вопросы распределения задач между человеком и роботом в условиях неопределенности и изменяющейся среды. Предложенный метод можно применять в различных сценариях для РТК в сложных и изменяющихся условиях.

взаимодействие человека и роботаадаптивный алгоритм управленияраспределение задачобучение с подкреплениемhuman robot interactionadaptive control algorithmtask distributionreinforcement learningИсследование выполнено на базе МГТУ «СТАНКИН» при финансовой поддержке Министерства науки и высшего образования РФ в рамках государственного задания (проект № FSFS-2024-0012).The study was carried out at MSTU STANKIN with the financial support of the Ministry of Science and Higher Education of the Russian Federation within the framework of the state assignment (project No. FSFS-2024-0012).Fiore M., Clodic A., Alami R. On planning and task achievement modalities for human-robot collaboration. In Experimental Robotics: The 14th International Symposium on Experimental Robotics. Marrakech, Morocco: Springer. 2016. Pp. 293–306.Ghadirzadeh A., Chen X., Yin W. et al. Human-centered collaborative robots with deep reinforcement learning. IEEE Robotics and Automation Letters. 2020. Vol. 6(2). Pp. 566–571. DOI: 10.48550/arXiv.2007.01009Qureshi A.H., Nakamura Y., Yoshikawa Y., Ishiguro H. Robot gains social intelligence through multimodal deep reinforcement learning. In IEEE-RAS. 16th International Conference on Humanoid Robots (humanoids). 2016. Pp. 745–751. DOI: 10.48550/arXiv.1702.07492Kwok Y.K., Ahmad I. Static scheduling algorithms for allocating directed task graphs to multiprocessors. ACM Computing Surveys. 1999. Vol. 31(4). Pp. 406–471. DOI: 10.1145/344588.344618Malik A.A., Bilberg A. Complexity-based task allocation in human-robot collaborative assembly. Industrial Robot: International Journal of Robotics Research and Application. 2019. Vol. 46(4). Pp. 471–480. DOI: 10.1108/IR-11-2018-0231Lucignano L., Cutugno F., Rossi S., Finzi A. A dialogue system for multimodal human-robot interaction. Proceedings of the 15th ACM on International Conference on Multimodal Interaction. 2013. Pp. 197–204. DOI: 10.1145/2522848.2522873Qiu C., Hu Y., Chen Y., Zeng B. Deep deterministic policy gradient (DDPG)-based energy harvesting wireless communications. IEEE Internet of Things Journal. 2019. Vol. 6(5). Pp. 8577–8588. DOI: 10.1109/JIOT.2019.2921159Hochreiter S. Long Short-term Memory. Neural Computation MIT-Press. 1997.Andrychowicz M., Wolski F., Ray A. et al. Hindsight experience replay. Advances in Neural Information Processing Systems. 2017. Vol. 30.Towers M., Kwiatkowski A., Terry J. et al. Gymnasium: A standard interface for reinforcement learning environments. arXiv:2407.17032. 2024. DOI: 10.48550/arXiv.2407.17032