Выгрузка лидов из Битрикс24

В данной статье продемонстрированы примеры полной и инкрементальной выгрузки лидов из Битрикс24.

Подробнее о Denvic Visual Transformer (DVT)

Итак, приступим. Создаем новый проект с помощью кнопки «+ Создать проект».

В открывшемся окне задаем ему наименование и нажимаем «+ Создать».

Для этого примера мы заведем переменную проекта, которую будем использовать в качестве подключения для ноды Read Data From Bitrix24. Заходим в «Переменные проекта» (кнопка ) и нажимаем «Добавить».

Указываем наименование переменной, ее тип и значение, затем нажимаем «Создать».

Полная выгрузка

Теперь переходим в конструированию проекта. Добавим ноду Read Data From Bitrix24. Настроим ее:

  • Connection — «=hookB24» (добавленная ранее переменная проекта);

  • Entity — «Lead» (сущность, которую мы будем выгружать);

  • поменяем наименование ноды на «Leads»;

  • Fields to export — нажимаем «Clear» (выгружать будем все поля).

  • Mode — «Full» (а также указываем дату начала (Start date) и дату конца (End date)).

Нажимаем «Сохранить».

Теперь добавим ноду DB Connection и Write DataFrame To DB, чтобы осуществить полную выгрузку лидов в базу данных. В ноде DB Connection указываем нужно подключение, а ноду Write DataFrame To DB настраиваем следующим образом.

После ввода наименования таблицы генерируется скрипт создания таблицы. Далее в этой статье мы разберем инкрементальную выгрузку, поэтому настройки необходимо установить следующие:

  • Режим записи «upsert» (замена и добавление полей по ключу);

  • Upsert key column «id» (ключ, по которому происходит замена и добавление полей).

Теперь и скорректируем скрипт строку "id" Nullable(String) заменим на "id" String, а строку "updatedTime" Nullable(DateTime) на "updatedTime" DateTime.

Нажимаем «Продолжить».

Таблица создана, параметры записи оставляем без изменений. Нажимаем «Сохранить».

Теперь запускаем получившийся проект на выполнение.

Проверим, что выгрузилось. Для этого необходимо включить кэширование для ноды Read Data From Bitrix24 (она у нас называется «Leads»). Нажимаем на ноду правой кнопкой мыши и активируем нужный нам переключатель. Затем нажимаем «Запустить до этой ноды» и после того, как запуск отработает снова заходим сюда по правой кнопке мыши и нажимаем «Показать датафреймы».

У нас получился следующий датафрейм:

Посмотрим, что у нас выгрузилось в базу данных, обратите внимание на колонку «updatedTime». Далее в статье мы проверим инкрементальную выгрузку данных именно по ней.

Инкрементальная выгрузка

Теперь переделаем ранее описанный проект так, чтобы наша выгрузка была инкрементальной. Для этого необходимо подать на вход ноды Read Data From Bitrix24 переменную с датой последней модификации. Как это сделать?

Снова откроем контекстное меню ноды Read Data From Bitrix24 и активируем переключатель «Показывать VARIABLE порты»

Добавляем ноду DB Connection c тем же подключением, что использовалось ранее, а также добавляем ноду Read Variables DB и соединяем их последовательно с нодой Read Data From Bitrix24.

Настроим ноду Read Variables DB. Выбираем указанную ранее при полной выгрузке базу, созданную нами в ней таблицу и добавляем переменную с названием «last_date», указываем колонку, в которой хранится последняя дата изменения, здесь это — «updatedTime» и агрегацию — «max». Нажимаем «Сохранить».

Теперь откроем настройки ноды Read Data From Bitrix24 и изменим режим выгрузки с «Full» на «Incremental» и указываем нашу переменную «=last_date» в поле «Last modified».

У нас получился такой проект, выполним его.

Теперь перейдем в базу и обновим таблицу данных — подгрузились данные по текущую дату.