В статье рассматривается архитектура распределенной системы хранения и обработки больших данных, построенная на основе интеграции объектного хранилища Apache Ozone и системы оркестрации вычислительных процессов Argo Workflows. Цель исследования. Разработка и исследование архитектуры распределенной системы хранения и обработки больших данных, основанной на интеграции Apache Ozone и Argo Workflows, реализующей принцип разделения функций хранения и вычислений, а также оценка эффективности предложенного решения по сравнению с традиционной архитектурой Apache Hadoop. Методы исследования. Использованы методы системного анализа архитектур больших данных, сравнительного экспериментального тестирования распределенных систем хранения и обработки информации, а также методы математического моделирования для формализации процессов масштабирования ресурсов, времени выполнения вычислений и эффективности хранения данных. Экспериментальная оценка проводилась на кластерах Apache Ozone и Apache Hadoop с использованием Apache Spark для выполнения вычислительных задач. Результаты. Разработана архитектура распределенной системы, обеспечивающая независимое масштабирование подсистем хранения и вычислений за счет использования объектного хранилища Apache Ozone и оркестрации вычислительных процессов на базе Argo Workflows в контейнерной среде Kubernetes. Предложена методика интеграции компонентов без использования промежуточного S3-шлюза, позволяющая снизить накладные расходы взаимодействия. Проведенные экспериментальные исследования показали сопоставимую производительность предложенного решения с Hadoop-кластером при операциях чтения, записи и обработки данных, а также преимущества в гибкости масштабирования и эффективности использования дискового пространства при применении erasure coding. Выводы. Результаты исследования подтверждают перспективность использования архитектуры на основе Apache Ozone и Argo Workflows в качестве альтернативы традиционным платформам обработки больших данных. Раздельная архитектура хранения и вычислений позволяет повысить гибкость инфраструктуры, оптимизировать использование ресурсов и снизить затраты на хранение данных при сохранении сопоставимого уровня производительности. Предложенный подход может быть применен при построении корпоративных аналитических платформ, систем обработки больших данных и инфраструктур машинного обучения.
The article discusses the architecture of a distributed big data storage and processing system based on the integration of the Apache Ozone object storage and the Argo Workflows computing process orchestration system. Aim. Development and research of the architecture of a distributed big data storage and processing system based on the integration of Apache Ozone and Argo Workflows, implementing the principle of separation of storage and computing functions, as well as evaluating the effectiveness of the proposed solution compared to the traditional Apache Hadoop architecture. Methods. Methods of system analysis of big data architectures, comparative experimental testing of distributed information storage and processing systems, as well as mathematical modeling methods are used to formalize the processes of scaling resources, computing time, and data storage efficiency. The experimental evaluation is carried out on Apache Ozone and Apache Hadoop clusters using Apache Spark to perform computational tasks. Results. A distributed system architecture has been developed that provides independent scaling of storage and computing subsystems through the use of Apache Ozone object storage and orchestration of computing processes based on Argo Workflows in the Kubernetes container environment. A method for integrating components without using an intermediate S3 gateway is proposed, which reduces the overhead costs of interaction. Experimental studies have shown comparable performance of the proposed solution with a Hadoop cluster for data reading, writing, and processing, as well as advantages in scaling flexibility and disk space efficiency when using erasure coding. Conclusions. The results of the study confirm the prospects of using architecture based on Apache Ozone and Argo Workflows as an alternative to traditional big data platforms. The separate storage and computing architecture allow for increased infrastructure flexibility, optimized resource usage, and lower data storage costs while maintaining comparable performance levels. The proposed approach can be applied in the construction of corporate analytical platforms, big data processing systems and machine learning infrastructures.