Проект DVT
В основе исполнения проектов лежит идеология движка Dask, который предполагает:
«ленивые» вычисления (формируется ацикличный граф, который выполняется единоразово в самом финише пайплайна);
распределенные вычисления (горизонтальное масштабирование).
Каждый пайплайн включает в себя набор связанных между собой нод (нода — это отдельный «кубик», выполняющий одно какое-то действие), исполняемых «слева-направо». Перечень и функционал нод читайте в разделе.
Начиная с релиза 1.17.0 DVT, переработана библиотека нод. Теперь категории нод получили цветовые маркеры, категории нод сворачиваются, нужные ноды можно закреплять для быстрого доступа, а устаревшие ноды помечены бейджем «Deprecated», а также в поле редактора добавлен цветной индикатор (в правом верхнем углу), показывающий статус сохранения проекта:
зелёный — сохранено;
жёлтый — есть несохраненные изменения;
голубой — в процессе сохранения произошла ошибка.
Автоматическая раскладка графа на полотне
Начиная с релиза 1.22.0, связанные ноды можно автоматически расположить на полотне в читаемом порядке. Это удобно, когда после добавления и перемещения нод граф становится трудно просматривать.
Откройте проект в редакторе.
Нажмите кнопку со значком волшебной палочки в нижней части панели слева на полотне. На скриншоте она отмечена красной стрелкой.
Ноды автоматически разместятся на полотне. Проверьте получившееся расположение графа.
На скриншоте показана цепочка «S3 подключение» → «Чтение Excel» → «Группировать данные с агрегацией».
Выполнение проекта и переменные
После настройки графа проверьте параметры нод и выполните проект. Состояние запуска, очередь и способы остановки описаны в статье «Запуск, очередь и остановка проекта».
Чтобы менять параметры обработки без переписывания SQL или Python-кода, используйте переменные проекта и входные переменные нод.