Инкрементальная выгрузка из Битрикс24 с использованием «Переменных»
Пример настройки
В ноде Read Data From Bitrix24 в поле «Webhook Url», и полях раздела «Mode» («Start Date», «End Date», «Last modified») вместо абсолютных значений можно использовать «Переменные», которые подаются на «вход» (input_vasriables) ноды Read Data From Bitrix24.
В самой ноде переменные вызываются через =. Например, =url или =last_Date.
В результате, можно сделать проект выгрузки, который работает следующим образом:
Читается максимальная успешно загруженная дата модификации из «результирующей таблицы» с помощью SQL-запроса, в ноде Read Query (также можно использовать ноду Read Table):
-- Пример SQL-запроса к таблице, для получения максимальной загруженной даты модификации: select max(`DATE_MODIFY`) as last_Date from `DVT_Test`.`2026-04-17-leads`
Максимальная дата модификации преобразуется в «Переменную» через ноду Select Variables from DataFrame.
Сформированные «Переменные» подаются на «вход» в ноду Read Data From Bitrix24.
На «выходе» из ноды Read Data From Bitrix24, получаем датафрейм, который далее можно трансформировать. Например:
переименовать поля (нода Rename Columns);
убрать лишние поля (нода Drop Columns);
сделать дополнительные вычисления (нода Execute Python Code on DataFrame);
соединить этот датафрейм с другими (нода Join DataFrames)
и т.д.
Финальный датафрейм можно записать в базу данных, используя ноду WriteDataFrame to DB в режиме
upsert. В данном случае, настроено обновление (1) таблицы по ключевому полю изменения данных (2).
Шаблон проекта
Вы также можете воспользоваться готовым файлом для импорта проекта:
В загруженном проекте необходимо обязательно заменить (прописать):
WebHook в ноде Create Variable.
В ноде Get Existing DB Connection прописать Ваше подключение к БД.
Базу данных и Таблицу из которой читается максимальная дата изменения в ноде Read Query.
Базу данных и Таблицу в ноде записи данных WriteDataFrame to DB.