Настройки строки проекта

орму настроек строки проекта можно вызвать, выбрав строку и нажать на .

1

2

Настройка строки проекта состоит из следующих разделов:

Примечание:

Обработчики формирования очереди для первичной/полной выгрузки, Обработчики формирования очереди при изменении объектов и Обработчики событий строки проекта и их применение описаны в статье «Обработчики».

  • Дополнительные настройки

Основное

Способ выгрузки

  • Блоками. Стандартный способ выгрузки, используя инструкцию INSERT (вставка строк).

  • Через файл. Данный способ работает быстрее. Вы можете выбрать его, но если Вы делаете выгрузку в MS SQL, то не забудьте указать каталоги обмена на этапе создания подключения.

Примечание

Подробнее о способах выгрузки можно прочитать в статье. Данная статья написана про MS SQL, но для Clickhouse суть та же.

Способ обновления

  • Обновление сегмента. Данный способ обновления устанавливается автоматически, если при создании проекта было настроено сегментирование.

  • Перезапись партиции. Данный способ используется для выгрузок, которые планируется использовать в дальнейшем для инкрементальной выгрузки данных. Его суть заключается в замещении старых данных партиции новыми данными этой партиции в случае изменений (данный способ доступен, если не был пропущен этап расширенных настроек).

  • Добавление. Данный способ используется для добавление новых или измененных сегментов или партиций в уже существующую таблицу-приемник без удаления/изменения старых. Такой способ к примеру используется здесь: Пример выгрузки справочника почти в режиме реального времени.

  • Полное. Данный способ используется для полной замены данных всей таблицы. Этот метод используется в основном для разовых выгрузок таблиц целиком, без использования сегментирования или партицирования.

Оптимизация

Очередь выгрузки

В этих настройках можно ограничить количество выгружаемых строк очереди за 1 запуск по расписанию (если очередь в теории может оказаться очень большой) или объединить выгрузку нескольких элементов в одну выгрузку, если вам точно известно, что объем данных в каждой из них мал.

Распараллеливание выгрузки

Здесь располагаются тонкие настройки для распараллеливания выгрузки:

  • Максимальное количество одновременно выполняющихся потоков. Чем их больше, тем быстрее все выгрузится (однако, конечно, все зависит и от мощностей вашего сервера).

  • Таймаут каждого потока. Если фоновое задание в потоке не будет выполнено в разумный срок, то его лучше прервать сразу, чем продолжать загружать сервер.Размер таймаута определяете Вы сами, однако, слишком большие таймауты устанавливать не стоит (т.к. Ваш сервер в течение установленного времени будет пробовать выполнить задание и при этом использовать ресурсы). По умолчанию установлен таймаут 3 секунды. Если Ваш сервер не очень мощный, или Вы настроили свою выгрузку так, что в одном потоке будет выполняться ресурсоемкий запрос, то следует увеличить это значение.

Настройки буфера

Размер буфера. Если таблица очень большая, она может вся просто не поместиться в памяти, разумнее «подгружать» ее по частям. Для этих целей и устанавливается размер буфера. Т.е. количество записей, единовременно извлекаемых в память для последующей обработки и выгрузки. По умолчанию равен 1000. Если установить отрицательное значение, то данные будут извлекаться полностью. Данная настройка позволяет минимизировать риск фатальной ошибки выгрузки из-за нехватки оперативной памяти. Если способ выгрузки «Блоками», то данные вставляются во временную таблицу, если файлами, то будет дописываться файл.

Размер блока и размер блока удаляемых данных

Для выгрузок со способом выгрузки «Блоками» в этом разделе появится еще 2 настройки, которые не видны на форме при настройках выгрузки способом «Через файл».
Вот эти настройки:

  • Размер блока. Если вы выбрали способ выгрузки Блоками - то можете ограничить размер 1 блока определенным количеством записей. Будьте внимательны, уменьшая размер блока - вы увеличиваете количество запросов к серверу. Если оставить значение = 0, то будет выгружаться все записи 1 партиции в одном блоке.

  • Удалять блоками. Если флаг не стоит, то выполняется один запрос удаления сразу всей партиции. Если стоит, то удаляется по заданному количеству записей (количество записей задается параметром «Размер блока удаляемых данных»).

  • Размер блока удаляемых данных. Чем больше блок, тем дольше длится транзакция. Этот параметр только для выгрузок в транзакционные базы данных (таких как MS SQL), здесь речь идет об ограничении количества удаляемых записей в 1 транзакции (для Clickhouse это не нужно, т.к. там нет понятия транзакции).

Данные

Расширенная проверка данных. Данный функционал осуществляет проверку данных на их соответствие указанному для них типу приемника данных, при этом выдает понятную для пользователя ошибку (а не ответ от сервера), чтобы эту ошибку можно было исправить или обойти в процессе конструирования строки проекта.

Расширение параметров

Настройка позволяет переключаться с регулярных параметров на расширенные. Здесь указывается количество записей очереди для расширения параметров. Подробнее о данном функционале можно прочитать в статье.

Дополнительные настройки

В релизе 3.8.3.88 Экстрактора 1С был добавлен раздел «Дополнительные настройки», в который были перенесены настройки «Параметры источника инициализируются из очереди» и «Значение партиции инициализируется из очереди» и добавлена настройка «Выгружать строку при отсутствии данных».

Выгружать строку при отсутствии данных

с включенной настройкой, при отсутствии данных, будет выгружена одна строка, в которой будут заполнены параметры и вычисляемые поля, которые удалось вычислить, для остальных полей должна быть возможность сохранять значение null. Пример работы с данным функционалом рассмотрен в статье.

Параметры источника инициализируются из очереди

При выборе способа обновления «Добавление» или «Полное» доступна настройка «Параметры источника инициализируются из очереди выгрузки». Если снять данный флаг, то параметры, которые были указаны в нашем запросе, будут заполняться значениями, заданными в процессе создания набора данных 1С на вкладке «Параметры» на Этапе 4.

Значение партиции инициализируется из очереди

Данная настройка появляется при выборе способа обновления «Перезапись партиции». Этот флаг необходимо устанавливать, если решение не может использовать встроенные алгоритмы вычисления партиции, то партиция должна быть вычислена при добавлении записи в очередь (данная настройка оставлена для совместимости со старыми версиями).