Каскадную выгрузку объектов «Снежинка»

Начиная с релиза 3.5 в Экстракторе 1С доступна каскадная выгрузка объектов “Снежинка”. Новый функционал позволяет осуществить каскадную выгрузку нормализованной витрины данных.

  • Факт (таблицы с данными). Например, это может быть “Регистр накопления”.

  • Измерения (таблицы с справочниками). Это могут быть справочники, другие связанные сущности 1С (документы, регистры сведения и т.д)

  • На основе Факта и Измерений, также, создается денормализованная View (для SQL), в которой Факт и Измерения связаны по Left Join

Создание «Схемы данных»

Для того, чтобы настроить каскадную выгрузку объектов “Снежинка“ необходимо создать схему данных, нажмите кнопку “Создать схему данных“ в верхней панели интерфейса.

Затем заполните все поля открывшейся формы.

№ п/п

Элемент интерфейса

Описание

1.

поле “Наименование”

Наименование создаваемой схемы данных.

2.

поле “Группа“

Группа, в которой будет находится создаваемая схема данных (укажите, если это необходимо).

3.

поле “Подключение”

База данных, в которую будет производиться выгрузка.

4.

поле “Префикс представлений”

С данным префиксом будет генерироваться имя денормализованной View.

5.

поле “Префикс таблиц”

С данным префиксом будут создаваться таблицы фактов и измерений.

6.

флаг “Транслитерация имен“

установите флаг, если необходимо, чтобы все имена полей и таблиц были прописаны на латинице.

7.

выпадающий список “Способ группировки проектов“

Выберите как каждая сущность (факт, измерения) будут сохранятся в Проекты Экстрактора 1С). По умолчанию Факт сохраняется в Проект №1, а все измерения в Проект № 2.

После заполнения полей формы нажмите кнопку “Записать и закрыть“ и выберете созданную схему данных в списке.

Создание «Снежинки»

Теперь можно создать “Снежинку”.

Примечание

В одной “Схеме данных” может быть много “Снежинок”, которые будут переиспользовать общие друг для друга “Измерения”.

Нажмите кнопку “Снежинка“ в верхней панели интерфейса.

Выбор таблицы “Фактов”

После создания “Снежинки“ дайте ей название в поле “Наименование“ и выберите таблицу “Фактов”.

1

2

После выбора таблицы «Фактов» она появится в поле «Представление».

Примечание

Если вы выбрали в качестве таблицы фактов «Обороты» также необходимо указать уровень детализации в поле «Периодичность».

1

2

Далее выберите все поля (в том числе, и вложенные внутрь других ссылочных полей) с помощью флагов рядом с их именами.

Разберем подробнее ключевые элементы интерфейса окна создания «Снежинки»:

  • В поле «Представление» [1] собирается будущее «денормализованное» View.

Примечание

О том, что такое «нормализация» и «денормализация» данных и зачем это нужно можно почитать здесь.

  • Флаг «Представление объекта» [2] устанавливается для полей ссылочного типа. Если флаг стоит, то «Представление объекта» берется из связанной таблицы (т.е. будет создана дополнительная таблица, соответственно, если флаг не установлен, то дополнительная таблица по этому реквизиту создана не будет). По умолчанию в данной колонке для однозначных определений ссылочного типа флаг устанавливается автоматически, а для многозначных определений — нет.

  • В поле «Таблицы» [3] создаются таблицы фактов и измерений.

  • Во вкладке «Запросы» [4] будет сформирован скрипт для создания View.

1

2

3

4

Если развернуть одну из таблиц фактов и измерений, то можно увидеть, какие поля в ней будут:

Теперь необходимо выполнить проверку с помощью соответствующей кнопки, чтобы исключить дублирования полей, проверить допустимую длину наименований полей и т.д. После выполнения проверки появится диалоговое окно с сообщением о результатах проверки, закройте данное окно, и внесите изменения, если это необходимо.

1

2

Закройте окно с результатом проверки и нажмите кнопку “Применить и закрыть”.

Результат

В результате в базе SQL/Kafka будут созданы:

  • все таблицы/топики измерений и факта;

  • денормализованное View (для SQL) ) (т.е. Представление данных, состоящее из “Факта” и всех связанных с ним “Измерений” и выбранных полей из них).

В базе 1С Экстрактора:

  • создаются Проекты с тем видом группировки, который был указан при создании “Схемы данных”.

Прочие настройки:

Теперь для каждого из проектов можно настроить “Расписание выгрузки” и сделать первичную инициализацию. Для этого воспользуйтесь кнопками:

  • “Сформировать очередь“ — для формирования очереди из проектов на выполнение. (для первичной выгрузки всех данных, имеющихся в 1С по данному набору факты-измерения)

  • “Выполнить” — для выполнения “руками” сразу все проектов “Снежинки”;

“Расписание” для выгрузки указывается отдельно для каждого проекта.