Как устроена работа DVT

В этой статье описано, что происходит с проектом после запуска и от чего зависит его выполнение.

Подробнее о Denvic Visual Transformer (DVT)

Поставка

DVT поставляется в двух вариантах:

  • opensource с лицензией AGPL 3.0

  • Коммерческая версия

Как DVT выполняет проект

Пользователь собирает проект в браузере: добавляет ноды, настраивает подключения и связывает шаги обработки. После запуска DVT передаёт проект свободному обработчику — воркеру.

Часть DVT

Для чего нужна пользователю

Веб-интерфейс

Создавать проекты, настраивать ноды, смотреть данные и журнал выполнения

Управление запусками

Принимать задания, вести очередь и отслеживать выполнение

Воркеры

Читать, преобразовывать и записывать данные согласно пайплайну

Планировщик

Запускать проекты по расписанию и выполнять настроенные повторы

Внутреннее хранилище

Сохранять проекты, настройки и сведения о запусках

Один воркер выполняет один пайплайн одновременно. Несколько воркеров позволяют выполнять несколько проектов параллельно. Внутри проекта чтение и обработка данных также могут разбиваться на части — это отдельная настройка конкретных нод.

Пользователь настраивает проект; ручной запуск или расписание направляют задание в очередь, затем свободному воркеру и к результату

В обычной работе не требуется обращаться к внутренним сервисам напрямую. Для диагностики используйте журнал проекта и состояние внутренних сервисов.

Что влияет на время выполнения

Время зависит от объёма данных, доступности источников, сложности преобразований и занятости воркеров. Если проект ещё стоит в очереди, изменение параметров SQL или фильтра не ускорит начало его обработки — сначала нужно проверить доступность обработчиков.

Для запуска подпроекта с ожиданием нужен дополнительный воркер. Подробнее: Execute Project.

Способы запуска и отмены описаны в статье «Запуск, очередь и остановка проекта».

Как данные проходят через проект

Краткая схема работы — в дайджесте выполнения проекта. Порядок нод и ленивые вычисления объясняются в статье «Как DVT выполняет проект».