Сегменты и партиции. В чем различие?

В данной статье мы разберем в чем разница между «сегментом» и «партицией» в Экстракторе 1С, а также в каких случаях полезно использовать один или другой инструмент для разделения данных.

Подробнее об Экстракторе 1С

Начнем с теории:

Сегмент — это блок таблицы данных, полученный путем отбора строк из первоначального набора данных по заданному уникальному значению ключа сегментирования. Сегментирование данных происходит путем логического деления данных на блоки. Деление на сегменты позволяет удалить соответствующую группу записей и заменить ее на новые, обеспечивая инкрементальность данных.

Партиция — физическая часть таблицы данных, выделенная для удобства хранения и обработки в памяти и состоящая из смежных блоков. В Экстракторе 1С партиционирование поддерживается в СУБД PostgreSQL и Clickhouse.

Как работают сегменты?

Для наглядности создадим проект для выгрузки данных с сегментированием. Выгрузим выручку и себестоимость продаж. По умолчанию, на этапе выбора параметров источника, Экстрактор предложит разделить данные по периоду, так и оставим.

Выберем несколько полей, настроим таблицу как обычно и, на этапе сопоставления (маппинга) полей, флаг для ранее настроенного параметра сегментирования установится автоматически.

При этом, расширенные настройки (настройки партицирования) оставим пустыми.

Способ обновления в настройках строки проекта при этом автоматически установится в «Обновление сегмента».

Выполним выгрузку. Таблица выгружается с заданными полями. Чтобы понять, какие строки удаляются для обновления сегмента, используется поиск по индексируемому полю ПараметрПериод.

То есть сегмент удаляется, а вместо него добавляется новый. Именно так работают сегменты. В большинстве случаев, сегментирования достаточно для обеспечения инкрементальной выгрузки данных.

Как работают партиции?

Теперь разберем, что такое партиции и как они функционируют.

Изменим наш проект. Уберем флаг сегмента у параметра, а вместо сегментирования зададим партицирование на этапе расширенных настроек:

Затем поменяем способ обновления на «Перезапись партиции» в настройках строки проекта.

Что происходит в этом случае?

Таблица физически разделяется на несколько файлов на диске. Например, зайдем в директорию данных ClickHouse для базы данных Default, таблицы VIS_21102025 («Выручка и себестоимость», так мы ее назвали) и увидим, что создалось множество папок с файлами.

В каждой из папок хранится отдельная партиция. Если выбран режим обновления с партицированием удаляется вся партиция, выполняется команда drop partition и затем данные записываются заново.

В каких случаях рекомендуется использовать партицирование?

Партицирование подойдет для выгрузки большого объема данных, например, если надо уменьшить объем обрабатываемых данных при выборках (например, только текущий год). Такой подход полезен для таблиц, состоящих из более, чем 1 миллион строк, особенно при фильтрации по временным периодам.