Институт прикладной математики и автоматизации
Institute of Applied Mathematics and Automation
Collective behavior of automata is one of the directions of development of machine learning methods. Such machines fulfil the function of goal-oriented behavior. The machine performs an action, in response to which the environment sends its output signal to the input of the machine. The machine, in accordance with its design, responds to this input signal with the next action. Thus, a closed loop of interaction is built between a certain environment and the machine operating in it. This environment itself in many cases allows for machine implementation. Effectiveness evaluation of the machine is defined as an optimization problem of maximizing the sum of positive signals (rewards), or minimizing negative signals (penalties), received from the environment, over the considered period of time. Formalization of both the properties of the environment and the actions of the machines, as well as processing of the obtained results is performed using the apparatus of game theory. In this case, signals from the environment are conveniently represented as the sums of the winnings and losses of the players-machines. In this paper, a comparison of machines of different designs is carried out, since the efficiency of machine reactions is determined not only by the properties of the environment, but also by such parameters as the type and depth of memory.
Коллективное поведение автоматов является одним из направлений развития методов машинного обучения. Такие автоматы реализуют функцию целенаправленного поведения. Автомат выполняет действие, в ответ на которое окружающая среда подает свой выходной сигнал на вход автомата. Автомат, в соответствии со своей конструкцией, реагирует на этот входной сигнал очередным действием. Таким образом, выстраивается замкнутый контур взаимодействия между некоторой окружающей средой и функционирующим в ней автоматом. Сама эта среда во многих случаях допускает автоматную реализацию. Оценка эффективности автомата определяется как оптимизационная задача максимизации суммы положительных сигналов (поощрений) или минимизации отрицательных сигналов (штрафов), получаемых от окружающей среды за рассматриваемый промежуток времени. Формализация как свойств окружающей среды, так и действий автоматов, а также обработка полученных результатов производятся при помощи аппарата теории игр. В этом случае сигналы от окружающей среды удобно представить, как суммы выигрышей и проигрышей игроков-автоматов. В настоящей работе проведено сравнение автоматов различных конструкций, так как эффективность реакций автоматов определяется не только свойствами окружающей среды, но и такими параметрами, как тип и глубина памяти.