Глоссарий
Denvic ETL
экосистема программных продуктов компании «Денвик Аналитика», которая включает в себя следующие сервисы (они могут работать как по отдельности друг от друга, так и совместно):
Denvic Control Center (DCC) — единая система управления всеми инсталляциями всех продуктов), включая:
Экстрактор 1С — low-code-инструмент для выгрузки данных из 1С;
Denvic Visual Transformer (DVT) — low-code-сервис для трансформации данных;
Инжектор 1С — low-code-инструмент по загрузке данных в 1С.
Denvic Visual Transformer (DVT)
программный продукт компании «Денвик», который является частью экосистемы «Denvic ETL», а именно low-code-сервисом, выполняющим функции конструктора и оркестратора.
S3 (Simple Storage Service)
это облачный сервис для хранения файлов, который представляет собой объектное хранилище, где данные хранятся как объекты (файлы) с уникальными идентификаторами и метаданными, а не в виде традиционной файловой иерархии. Благодаря этому S3 обеспечивает масштабируемость, доступность и надежность хранения, что сделало его стандартом для облачных хранилищ.
SMB (Server Message Block)
Cетевой протокол, который позволяет компьютерам в одной сети обмениваться файлами, папками и подключаться к принтерам.
Бакет
логический контейнер, использующийся в объектных хранилищах для организации и хранения файлов (объектов).
Нода
это отдельный «кубик», выполняющий одно какое-то действие в рамках пайплайна.
Пайплайн
(от англ. «pipe» — «труба»)— проект в Denvic Visual Transformer (DVT).
Подключения
это единый список всех доступных в DVT подключений к базам данных и файловым хранилищам.
Проект
основная исполняемая единица Denvic Visual Transformer (DVT).
Системные переменные
технические переменные ноды, вычисляются во время выполнения проекта. Они есть у следующих нод:
Задача
Один запуск проекта DVT: вручную, по расписанию или через API.
Воркер
Исполнитель задач. Один воркер выполняет одну задачу за раз; несколько воркеров позволяют выполнять несколько проектов одновременно.
Очередь задач
Задачи, ожидающие свободного воркера.
Нода результата
Шаг, сохраняющий данные в БД или файл и запускающий выполнение накопленного плана чтения и преобразований.
Ленивые вычисления
Подход, при котором шаги сначала строят план, а данные обрабатываются при вычислении результата.
Партиция
Часть данных, читаемая и обрабатываемая отдельно. В документации нод также используется термин «сегмент».
Колонка разбиения
Колонка, по которой строки распределяются между партициями по выбранному правилу сегментации.
Поток
Параллельный исполнитель внутри воркера, обрабатывающий очередную партицию.
Пачка
Порция строк, вставляемая в БД за одну операцию. Пачка записи и партиция чтения — разные понятия.
Временная таблица
Промежуточная таблица для подготовки слепка перед переносом данных в рабочую таблицу в режимах truncate и upsert.
Кэш
Сохранённый результат ноды для просмотра данных и повторного использования.
TTL
Время жизни кэша. После истечения срока результат вычисляется заново.
Подробнее о связи этих понятий — в дайджесте выполнения проекта.