Схема данных, правила | Schema Policy

Нода позволяет привести данные к эталонной схеме таблицы.

Подробнее о Denvic Visual Transformer (DVT)

Для каждой колонки схемы настраивается поведение: что делать, если колонка отсутствует в данных (ошибка, заполнение значением, пропуск), что делать при несовпадении типа (ошибка, строгое или мягкое приведение, пропуск) и что делать с лишними колонками (ошибка, удаление, пропуск). Это позволяет контролировать качество данных перед записью в БД.

Данная нода принимает на вход:

  • датафрейм (данные);

  • схему данных (например, из ноды Convert To Schema), в которой описана каждая колонка:

Правила в Schema Policy определяют:

  • Оставить, удалить или выдать ошибку при возникновении новых полей (которых нет в схеме данных);

  • Оставить (игнорировать), заполнить значением (добавив эту колонку в датафремйм) или выдать ошибку - для несуществующих колонок в датафрейме, но присутствующих в схеме данных

  • И что делать с теми полями датафрейма, которые не соответствуют типу в схеме данных