JINR WIKI - User contributions [en]

SPD Online filter DSM

2023-12-12T14:08:56Z

Dmitrytv:

Система управления данным для специализированного вычислительного комплекса SPD. Состоит из следующего набора микросервисов:
*'''dsm-register''' - Сервис, принимающий в асинхронном режиме (через очередь сообщений) заявки на добавление/удаление данных в системе. При обработке заявок сервис вносит изменения в каталог данных через API сервиса dsm-manager;
*'''dsm-manager''' - Сервис, предоставляющий API к каталогу данных (размещение данных в каталоге, обращение к каталогу, изменение данных в каталоге);
*'''dsm-inspector''' - Набор фоновых сервисов для мониторинга и контроля состояния данных в хранилище (проверка целостности файлов, контроль использования хранилища, удаление файлов на хранилищах).
[[SPD Online filter|back to the SPD Online Filter main page]]

SPD Online filter

2023-12-12T14:06:42Z

Dmitrytv:

SPD Online Filter is a high performance computing system for high throughput processing
* High speed (parallel) storage system for input data written by DAQ.
* Compute cluster with two types of units: multi-CPU and hybrid multi CPU + Neural network accelerators (GPU, FPGA etc.) because we are going to use AI…
* A set of dedicated servers for middleware which will manage processing workflow, monitoring and other service needs.
* Buffer for intermediate output and for data prepared for transfer to long-term storage and future processing.

=== Программный комплекс ===

* Высокоскоростное хранилище входных данных, записанных DAQ;
* Буфер для промежуточных данных и данных, подготовленных к передаче в долгосрочное хранилище и будущей обработке;
* Комплекс промежуточного программного обеспечения для автоматизации рабочего процесса. В него будет входить следующие компоненты:
** [[SPD Online filter DSM|Система управления данными]] (регистрация новых данных, каталогизация/структуризация, контроль целостности);
** Система управления процессами обработки (формирование и контроль исполнения этапов обработки данных);
** Система управления нагрузкой (реализация этапов обработки,посредством формирования и выполнения необходимого количества задач для обработки набора данных);
*** Pilot (агентское приложение, работающее на вычислительном узле и исполняющее задачи, поставляемые от системыуправления нагрузкой).
[[SPD|back to the SPD main page]]

SPD Online filter DSM

2023-12-12T14:05:22Z

Dmitrytv: Created page with "Info"

Info

SPD Online filter

2023-12-12T13:55:16Z

Dmitrytv:

SPD Online Filter is a high performance computing system for high throughput processing
* High speed (parallel) storage system for input data written by DAQ.
* Compute cluster with two types of units: multi-CPU and hybrid multi CPU + Neural network accelerators (GPU, FPGA etc.) because we are going to use AI…
* A set of dedicated servers for middleware which will manage processing workflow, monitoring and other service needs.
* Buffer for intermediate output and for data prepared for transfer to long-term storage and future processing.

=== Программный комплекс ===

* Высокоскоростное хранилище входных данных, записанных DAQ;
* Буфер для промежуточных данных и данных, подготовленных к передаче в долгосрочное хранилище и будущей обработке;
* Комплекс промежуточного программного обеспечения для автоматизации рабочего процесса. В него будет входить следующие компоненты:
** Система управления данными (регистрация новых данных, каталогизация/структуризация, контроль целостности);
** Система управления процессами обработки (формирование и контроль исполнения этапов обработки данных);
** Система управления нагрузкой (реализация этапов обработки,посредством формирования и выполнения необходимого количества задач для обработки набора данных);
*** Pilot (агентское приложение, работающее на вычислительном узле и исполняющее задачи, поставляемые от системыуправления нагрузкой).

SPD Online filter

2023-12-12T13:54:39Z

Dmitrytv:

SPD Online Filter is a high performance computing system for high throughput processing
* High speed (parallel) storage system for input data written by DAQ.
* Compute cluster with two types of units: multi-CPU and hybrid multi CPU + Neural network accelerators (GPU, FPGA etc.) because we are going to use AI…
* A set of dedicated servers for middleware which will manage processing workflow, monitoring and other service needs.
* Buffer for intermediate output and for data prepared for transfer to long-term storage and future processing.

=== Программный комплекс ===

* Высокоскоростное хранилище входных данных, записанных DAQ;
* Буфер для промежуточных данных и данных, подготовленных к передаче в долгосрочное хранилище и будущей обработке;
* Комплекс промежуточного программного обеспечения для автоматизации рабочего процесса. В него будет входить следующие компоненты:
** Система управления данными (регистрация новых данных, каталогизация/структуризация, контроль целостности);
** Система управления процессами обработки (формирование и контроль исполнения этапов обработки данных);
** Система управления нагрузкой (реализация этапов обработки,посредством формирования и выполнения необходимого количества задач для обработки набора данных);
*** Pilot (агентское приложение, работающее на вычислительном узле и исполняющее задачи, поставляемые от системыуправления нагрузкой).
[[File:Spd online filter arch.jpg|center|300x300px]]
[[SPD|back to the SPD main page]]

SPD Online filter

2023-12-12T13:53:17Z

Dmitrytv:

SPD Online Filter is a high performance computing system for high throughput processing
* High speed (parallel) storage system for input data written by DAQ.
* Compute cluster with two types of units: multi-CPU and hybrid multi CPU + Neural network accelerators (GPU, FPGA etc.) because we are going to use AI…
* A set of dedicated servers for middleware which will manage processing workflow, monitoring and other service needs.
* Buffer for intermediate output and for data prepared for transfer to long-term storage and future processing.

=== Программный комплекс ===

* Высокоскоростное хранилище входных данных, записанных DAQ;
* Буфер для промежуточных данных и данных, подготовленных к передаче в долгосрочное хранилище и будущей обработке;
* Комплекс промежуточного программного обеспечения для автоматизации рабочего процесса. В него будет входить следующие компоненты:
** Система управления данными (регистрация новых данных, каталогизация/структуризация, контроль целостности);
** Система управления процессами обработки (формирование и контроль исполнения этапов обработки данных);
** Система управления нагрузкой (реализация этапов обработки,посредством формирования и выполнения необходимого количества задач для обработки набора данных);
*** Pilot (агентское приложение, работающее на вычислительном узле и исполняющее задачи, поставляемые от системыуправления нагрузкой).
[[File:Spd online filter arch.jpg|center|frameless]]
[[SPD|back to the SPD main page]]

SPD Online filter

2023-12-12T13:52:09Z

Dmitrytv: Добавлена архитектура

SPD Online Filter is a high performance computing system for high throughput processing
* High speed (parallel) storage system for input data written by DAQ.
* Compute cluster with two types of units: multi-CPU and hybrid multi CPU + Neural network accelerators (GPU, FPGA etc.) because we are going to use AI…
* A set of dedicated servers for middleware which will manage processing workflow, monitoring and other service needs.
* Buffer for intermediate output and for data prepared for transfer to long-term storage and future processing.

=== Программный комплекс ===

* Высокоскоростное хранилище входных данных, записанных DAQ;
* Буфер для промежуточных данных и данных, подготовленных к передаче в долгосрочное хранилище и будущей обработке;
* Комплекс промежуточного программного обеспечения для автоматизации рабочего процесса. В него будет входить следующие компоненты:
** Система управления данными (регистрация новых данных, каталогизация/структуризация, контроль целостности);
** Система управления процессами обработки (формирование и контроль исполнения этапов обработки данных);
** Система управления нагрузкой (реализация этапов обработки,посредством формирования и выполнения необходимого количества задач для обработки набора данных);
*** Pilot (агентское приложение, работающее на вычислительном узле и исполняющее задачи, поставляемые от системыуправления нагрузкой).

[[File:Spd online filter arch.jpg|none|thumb]]
[[SPD|back to the SPD main page]]

File:Spd online filter arch.jpg

2023-12-12T13:50:22Z

Dmitrytv:

Программный комплекс SPD Online Filter