Ноябрь 2024
Релиз 3.4.3.25 (23.11.2024)
Новое в релизе
Расширенные логи при работе с SQL.
В разделе «Настройки» добавлен пункт по логированию SQL-инструкций (может помочь при разборе неясных ситуаций и ошибок при выгрузке
В помощнике при создании нового проекта предлагается настроить параметры выгрузки
Добавлена поддержка прокси (для Заказчиков с сложной организацией сети:
Добавлена возможность отключать работу «подписок на события»
Реализован механизм сброса ключа лицензирования. Работает только при активной лицензии и при активной поддержке.
Функционал доступен на форме ввода номера лицензии. Теперь вы сами можете отвязать лицензию от баз 1С
Исправление ошибок
Добавлена оптимизация записи в Регистр сведений “Очередь изменений”, убрали несколько возможных ситуаций, приводящих к блокировкам на больших, нагруженных базах (но в любом случае, если у вас очень высоконагруженная база, используйте “Внешнюю очередь на Redis”
Коннектор 1С к Datalens - при смене ключа и пользователя - не переключается автоматически база на новую
Сменил выгрузку (Объект) с по партициям на «Полную» - галка «»Параметры источника инициализируются из Очереди« НЕ снимается
CommonModules\Экс_1С_8_3_1\Module.bsl Неизвестная инструкция [ТолстыйКлиент]
Поле объекта не обнаружено (Экс_МодульВыгрузки.Модуль(1778)
При установленной галке сегмента нужно запретить ставить галку - не создавать поле
PostgreSQL – сервер вернул невалидный ответ (json) [{?column?}]
Преобразование значения к типу Дата не может быть выполнено
При каждом проходе помощника добавляется вычисляемое поле
PostgreSQL: Добавлена проверка длины имени создаваемого индекса для «сегмента»
Ошибка конвертации даты. Выгрузка документа в Clickhouse ошибка при выгрузке. Canot parse Date: value is too short. Canot parse Date from String - Исправлена ошибка форматирования пустой даты для запроса ClickHouse
Исправлена ошибка проверки результата удаления таблицы в postgres и mssql
Преобразование к типу число не может быть выполнено
Исправлено: при повторном прохождении через помощник меняется способ обновления
Добавлено создание партиций postgres при полной выгрузке
Исправлена ошибка создания партиции postgres через http подключение
Исправлена синтаксическая ошибка при создании индекса в postgres
Релиз 3.4.3.6
Новое в релизе:
Переделали систему хранения паролей к Подключениям (теперь пароли хранятся не текстом в 1С, в а «Защищенном контейнере» внутри 1С).
Пароли при обновлении на этот релиз перенесутся в регистр Экс_БезопасноеХранилищеДанных.
На этот регистр права есть только у роли Экс_АдминистраторПодсистемы и Экс_Полные_Права
Основная цель - это отказ от получения пароля на клиенте, с целью усложнить его перехват.
Шифруются пароли в подключении и в настройках прокси:
Исправления:
При интерактивном изменении способа обновления на «Полная», галка «»Параметры источника инициализируются из Очереди» устанавливается, если есть сегмент, иначе снимается.
Исправлена ошибка чтения метаданных полей таблицы Postgres, из-за которой не правильно читались значения поля Nullable из уже созданных таблиц (на этапе сопоставления полей).
Исправлено поведение помощника. Теперь, если расширенных настроек еще не было настроено - помощник спросит, хотите ли вы их сделать, а если они уже настроены - то сразу, без вопросов, перейдет к расширенным настройкам. Имеется ввиду вот этот вопрос:
А так же исправлен баг, мешавший переходу “назад” после пропуска настройки параметров отбора.
Релиз 3.4.1.41
Новое в релизе:
Основная тема релиза: мы разделили понятия партицирование и сегментирование.
Теперь то, что мы называли раньше партицированием (разбиение выгрузки на порции для распараллеливания выгрузки и дальнейшего поддержания актуальности данных) будет называться сегментированием выгрузки.
А партицированием будет называться партицирование на уровне СУБД . В тех СУБД, где оно реализовано, конечно. В MS SQL, например, партицирования таблиц нет.
Что это все значит? Это значит что теперь вы можете создать таблицу с нужными вам партициями в вашей СУБД, совершенно несовпадающими с теми порциями выгрузки (сегментами), которые нужны исключительно для решения задач оптимизации процесса выгрузки данных из Экстрактора.
Т.е. другими словами:
Сегмент - это блок данных определяемый параметрами запроса к данным 1С. В общем случае сегментом может быть функция от параметра. (то, что раньше мы называли партицированием)
Для идентификации сегмента в таблицу-приемник в СУБД добавляются колонки со значениями параметров и устанавливается индекс по этим колонкам для быстрого поиска.
Если задан сегмент при проектировании выгрузки, то по умолчанию способ обновления в настройках строки проекта устанавливается «Обновление сегмента».
Партиции таблицы никак не связаны с параметрами, но можно сделать чтобы они совпадали и установить способ обновления «Перезапись партиции» - это будет текущий вариант работы
Старые проекты, созданные ранее и по старому принципу, продолжат свою работу , как и раньше. У них автоматически установится способ выгрузки “Обновление сегмента”.
Мы обязательно в скором времени внесем изменения в документацию и подробно опишем, как теперь создавать проекты по-новому. Напишем несколько новых примеров. А пока опишем различия здесь.
Где именно теперь задается сегментирование (бывшее партицирование)?
На этапе настройки параметров для объекта ничего не изменилось. Вы точно так же выбираете, по каким полям будете разбивать выборку данных и какие функции будете к ним применять:
То же самое можно сказать и о Запросе. Если источник данных = Запрос, тогда вы так же, как и делали это раньше, задаете параметры в самом запросе, здесь тоже ничего не изменилось. Тот же принцип, те же правила. Изменилось только название.
На этапе выпора полей автоматически добавятся поля с параметрами и установится галка для их вывода (у нас один параметр в примере):
На этапе сопоставления полей параметры добавятся также автоматически. Галка отношения этих полей к сегменту установится сама, если вы выбрали “Объект” в качестве источника данных. Для запроса вам нужно будет самостоятельно установить галки у полей, относящихся к сегменту, т.к. возможно, что какие-то параметры вашего запроса созданы не для сегментирования.
Далее вы можете просто пропустить настройки уровня СУБД, если не хотите настраивать партицирование таблицы в СУБД. Многим оно и не нужно.
Если же хотите настроить партиции непосредственно таблицы СУБД - тогда выбирайте Расширенные настройки:
В случае выгрузки в Clickhouse окно будет немного отличаться:
Декларативный - значит выбор полей и функций (точно так же, как обычно при выборе параметров для сегментирования).
Императивный - означает лишь способ, который изначально использовался нами для выгрузок в Clickhouse, и кому-то, возможно, более удобный. Это способ формирования своего рода “формулы партицирования”, на основании выбранного поля. Этот способ позволяет написать формулу даже просто вручную, или воспользоваться мастером, что гораздо удобнее:
Выгрузка при сегментировании будет разбиваться на порции как и раньше разбивалась. Все будет распараллеливаться, как и раньше. Принцип останется тот же.
Обратите внимание, что в настройка строки проекта при настроенном сегментировании теперь стоит другой способ обновления: “Обновление сегмента”:
Но если вы при этом настроите и физическое партицирование на уровне СУБД, а не только сегментирование выгрузки - тогда способ обновления установится в “Перезапись партиции”:
Что еще нового:
Добавлен предопределенный обработчик данных источника “Заполнение поля датой старта выгрузки строки”
сделана Подстановка Имени объекта, Параметров, Полей в список выбора в обработчике инициализации очереди
Реализована передача параметров запроса в обработчик регистрации изменений
Добавлено предопределенное вычисляемое поле ТекущаяДата()
Реализована возможность подключения к Postgres по протоколу https
Добавлен приемник данных Kafka. Об этом подробнее здесь: Работа с Apache Kafka
В помощнике настройки проекта теперь пропускается вопрос о настройке таблицы, если настройки уже сделаны - просто открывается окно с настройками
Обеспечена поддержка выгрузки файлов Excel расположенных на FTP сервере. Подробные инструкции размещены прямо на форме под полем выбора файла:
Удаление записей в ClickHouse заменено на инструкцию delete from
запрещен выбор из списка элемента способа обновления «Перезапись партиции» если партиции в проекте не заданы.
Исправления:
Исправлена партиция при регистрации изменений объекта с точностью до часа
Исправлена ошибка при перестановке строк проекта. В строку проекта добавлен идентификатор. Инициализирован номером строки. В очереди сохраняется вместо номера строки идентификатор строки. В вызовах обработчиков номер строки заменен на идентификатор строки. В вызове выгрузки номер строки заменен на идентификатор строки.
Исправлена ошибка получения текущего фонового задания
Исправлена ошибка выполнения запроса в обработчиках для MS и PG
Исправлена ошибка: Таблица в обязательном порядке не пересоздавалась при смене партиции в MSSQL
Исправлена ошибка проверки типа поля
сделано сохранение статуса выполнения проекта при ошибках в регламентном задании
Исправлена ошибка добавления удаленных полей в сопоставление
Исправлена ошибка открытия помощника при удаленной таблице