JINR WIKI - User contributions [en]

SPD Online filter

2023-12-27T16:05:08Z

Ngreben: add link

SPD Online Filter is a high performance computing system for high throughput processing
* High speed (parallel) storage system for input data written by DAQ.
* Compute cluster with two types of units: multi-CPU and hybrid multi CPU + Neural network accelerators (GPU, FPGA etc.) because we are going to use AI…
* A set of dedicated servers for middleware which will manage processing workflow, monitoring and other service needs.
* Buffer for intermediate output and for data prepared for transfer to long-term storage and future processing.

=== Программный комплекс ===

* Высокоскоростное хранилище входных данных, записанных DAQ;
* Буфер для промежуточных данных и данных, подготовленных к передаче в долгосрочное хранилище и будущей обработке;
* Комплекс промежуточного программного обеспечения для автоматизации рабочего процесса. В него будет входить следующие компоненты:
** [[SPD Online filter DSM|Система управления данными]] (регистрация новых данных, каталогизация/структуризация, контроль целостности);
** Система управления процессами обработки (формирование и контроль исполнения этапов обработки данных);
** [[SPD Online filter WMS|Система управления нагрузкой]] (реализация этапов обработки,посредством формирования и выполнения необходимого количества задач для обработки набора данных);
*** Pilot (агентское приложение, работающее на вычислительном узле и исполняющее задачи, поставляемые от системыуправления нагрузкой).
[[SPD|back to the SPD main page]]

SPD Online filter WMS

2023-12-27T15:10:10Z

Ngreben:

'''Система управления нагрузкой''' (''Workload Management System, WMS'') — одна из основных компонент промежуточного программного обеспечение "SPD Online filter", ответственная за генерацию задач, их отправку на вычислительные узлы и выполнение.
Состоит из следующих подсистем, реализованных по микросервисной архитектуре:
*'''task-manager''' – отвечает за взаимодействие с системой управления рабочими процессами, обеспечивая функциональность регистрации заданий, их отмены, отслеживания хода выполнения и формирования итоговых отчетов.
*'''task-executor''' – отвечает за формирование задач в зависимости от содержания набора данных и типа заданий, управление очередью заданий.
*'''job-manager''' – отвечает за получение задач из брокера, регистрацию задач, передачу готовых задач исполнителю задач, предоставляет внутренние API для работы с задачами и метаданными файлов.
*'''job-executor''' – направляет задачи пилотам и следит за их выполнением, регистрирует данные.
[[SPD Online filter|back to the SPD Online Filter main page]]

SPD Online filter WMS

2023-12-27T15:09:53Z

Ngreben: Created page with "'''Система управления нагрузкой''' (''Workload Management System, WMS'') - одна из основных компонент промежуточного программного обеспечение "SPD Online filter", ответственная за генерацию задач, их отправку на вычислительные узлы и выполнение. Состоит из следующих подсистем, реализо..."

'''Система управления нагрузкой''' (''Workload Management System, WMS'') - одна из основных компонент промежуточного программного обеспечение "SPD Online filter", ответственная за генерацию задач, их отправку на вычислительные узлы и выполнение.
Состоит из следующих подсистем, реализованных по микросервисной архитектуре:
*'''task-manager''' – отвечает за взаимодействие с системой управления рабочими процессами, обеспечивая функциональность регистрации заданий, их отмены, отслеживания хода выполнения и формирования итоговых отчетов.
*'''task-executor''' – отвечает за формирование задач в зависимости от содержания набора данных и типа заданий, управление очередью заданий.
*'''job-manager''' – отвечает за получение задач из брокера, регистрацию задач, передачу готовых задач исполнителю задач, предоставляет внутренние API для работы с задачами и метаданными файлов.
*'''job-executor''' – направляет задачи пилотам и следит за их выполнением, регистрирует данные.
[[SPD Online filter|back to the SPD Online Filter main page]]