Настройка проекта

Интерфейс окна создания проекта DVT содержит боковую панель, предназначенную для настройки проекта.

Подробнее о Denvic Visual Transformer (DVT)

Рассмотрим ее функционал подробнее.

Ноды

По умолчанию при открытии проекта в этой панели находятся ноды, с помощью которых строится сам проект. Вы можете закрепить нужные ноды в верхней части списка, пометив их звездочкой ().

Подключения

По кнопке открывается раздел «Подключения». Здесь отображаются все доступные из DVT подключения. По кнопке «Добавить» можно создать новое подключение (о том, как это сделать читайте в разделе), а также обновить список подключений с помощью соответствующей кнопки. Каждое подключение можно проверить, отредактировать или удалить прямо в этом разделе.

Файловый менеджер

Начиная с релиза 1.19.0 DVT, файловый менеджер вынесен отдельной кнопкой в сайдбар. Здесь отображаются доступные подключения к файловым хранилищам. При нажатии нарядом с выбранным хранилищем открывается дерево файлов данного подключения.

Очередь задач

Начиная с релиза 1.14.2 DVT, добавлена кнопка (Очередь задач). Здесь отображается метрика длительности (в очереди/выполняется/итого), временная шкала запуска (queued → started → finished) и пульсирующий индикатор для активных задач.

В DVT есть 2 режима задач:

  • Мetadata-only выполняет проект без самих данных, только схемы (колонки и их типы). Он запускается автоматически при разработке проекта и нужен только для отображения доступных колонок на UI.

  • Full — выполнение проекта на странице редактирования проекта (по кнопке ) или при выполнении проекта по расписанию и через API.

Данные режимы отображены при разделении задач.

Начиная с релиза 1.17.0 DVT, добавлена кнопка для просмотра логов задач. При нажатии на нее открывается окно с логами выбранной задачи. Логи задачи можно просмотреть как все, так и по определенному уровню логирования. Например, если необходимо посмотреть, какая ошибка возникла — можно перейти на вкладку «ERROR» в верхней части окна логов.

Параметры проекта

По кнопке открывается раздел «Параметры проекта». Здесь находится общая информация проекта, а также доступна настройка кэширования данных (TTL).

Переменные проекта

По кнопке открывается раздел «Переменные проекта». Здесь можно создавать и редактировать переменные проекта, которые будут доступны в выражениях всех нод проекта.

Чтобы создать переменную проекта необходимо нажать кнопку «Добавить» и заполнить форму переменной проекта и нажать «Создать». Чтобы отредактировать уже существующую переменную проекта на нее надо просто кликнуть левой кнопкой мыши и после внесения изменений нажать «Применить».

Кэш и повторные запуски

TTL — время жизни сохранённого результата. Если кэширование настроено для проекта и нужных нод, результаты таблиц сохраняются во внутреннее хранилище частями по мере обработки.

Кэш полезен для просмотра промежуточных данных и отладки: после изменения последних шагов неизменённые результаты можно использовать повторно, пока их TTL не истёк. После истечения срока нода вычисляется заново.

Параметр

Как выбирать

Включить TTL-кэш

Используйте для отладки и повторного использования промежуточных результатов

Время жизни (сек)

Увеличьте для долгой отладки; уменьшите, если источник часто меняется

Количество потоков

Увеличивайте при свободных ресурсах БД и памяти; уменьшайте при перегрузке или нехватке памяти

Для регулярной загрузки свежих данных проверьте, нужен ли кэш и соответствует ли TTL допустимой давности данных.

Результат ноды считается кэшированным только после сохранения всех частей. Если хотя бы одна часть не сохранилась, неполный результат не используется. Недоступность хранилища кэша не должна прерывать основную задачу: она выполняется без кэша.

Если сохранение кэша отстаёт от обработки, обработка может притормаживать, чтобы не переполнить память. Поэтому первый запуск с кэшем может быть медленнее.

Переключатель кэширования отдельной ноды описан в опциях нод. Влияние потоков на память и БД — в статье «Параллельная обработка и производительность».

Когда используется сохранённый результат

После изменения проекта неизменённые ноды с действительным кэшем могут использовать сохранённые результаты. Изменённая нода и зависимые шаги пересчитываются. Повторный запуск без изменений выполняет проект заново: наличие TTL само по себе не означает использование старого результата при каждом запуске.

Включение кэша также не гарантирует однократного чтения источника, подключённого к нескольким нодам результата, в текущем запуске. Каждая нода результата выполняет свой план. Подробнее: несколько нод результата и кэш.