Глоссарий
Инжектор 1С
Специализированный ETL-инструмент по загрузке данных в 1С быстро, надежно, универсально. Инжектор извлекает данные из БД Clickhouse, PostgreSQL, MSSQL, очереди Kafka, после чего преобразовывает их и записывает в объекты 1С без привлечения программиста за счет low-code подхода. Инжектор 1С работает со всеми конфигурациями 1С 8.3 и устанавливается как расширение из .cfe-файла. Инжектор работает на серверах 1С под управлением Windows или Linux.
Инкрементальная загрузка данных
Загрузка только новых или измененных данных в целевую систему. Это значительно снижает нагрузку на системы и позволяет работать с большими объёмами данных.
Источники
В данной документации понятие «Источники» используется в качестве обобщенного обозначения SQL-баз данных (Clickhouse, MSSQL, PostgreSQL) и очереди сообщений Apache Kafka, из которых можно загружать данные в 1С с помощью Инжектора.
Объект конфигурации 1С
Составные элементы, «детали», из которых складывается любое прикладное решение. Они представляют собой проблемно-ориентированные объекты, поддерживаемые на уровне технологической платформы. По большому счету задача разработчика заключается в том, чтобы собрать из этих объектов, как из конструктора, необходимую структуру прикладного решения и затем описать специфические алгоритмы функционирования и взаимодействия этих объектов, отличающиеся от их типового поведения.
Некоторые виды объектов конфигурации 1С:
Справочники;
Документы;
Регистры;
Отчёты.
Параметры сегментирования
Набор параметров для сегментирования, например [Период]. Параметры сегментирования задаются либо в запросе, если вы сами составляли запрос, либо на этапе установки параметров при проектировании загрузки конструктором.
Поля составных типов
в программировании (на примере программы «1С:Предприятие») — это поля, которые могут принимать значения одного из нескольких типов. Это полезно для работы с комплексными структурами данных, такими как адреса, реквизиты или другие составные объекты.
Поток
программистский термин, применяемый для описания параллельно выполняющихся процессов в программе. Когда что-то делается параллельно — говорят о многопоточности. Много потоков — это много параллельно выполняющихся процессов. В данном случае, логически процесс один — идет выгрузка данных, но выполняется он сразу в нескольких потоках параллельно. Многопоточность увеличивает скорость того, что делает программа, выгружает ли она данные, или выполняет какие-то другие рабочие процессы.
Проект
Основной объект Инжектора 1С, с помощью которого проектируются загрузки. Проект включает в себя все настройки, которые необходимы для загрузки одного или нескольких наборов данных из различных Источников в 1С.
Расписание загрузки
Расписание, согласно которому будут догружаться вновь появившиеся в Источнике данные. Какие данные являются новыми будет понятно по специальному полю в таблице.
Сегмент
Блок данных, полученный путем отбора строк из первоначального набора данных по заданному уникальному значению условия сегментирования. При описании сегментирования всегда говорят о многопоточности, о неких параллельно выполняющихся потоках.
Составной тип
Тип считается составным, если в конфигураторе при выборе типа объекта метаданных (реквизита, измерения, ресурса и т. п.) в диалоге редактирования выбран более чем один тип (для этого нужно установить флаг «Составной тип») или выбрана ссылка на объекты базы данных более чем одного типа.
СУБД (Система Управления Базами Данных)
Набор инструментов, которые позволяют удобно управлять базами данных: удалять, добавлять, фильтровать и находить элементы, менять их структуру и создавать резервные копии. СУБД служит посредником между пользователем и базой данных (БД). Сама структура БД хранится в виде набора файлов, и единственный способ получить доступ к данным в этих файлах – через СУБД.
СУБД ClickHouse
Колоночная (столбцовая) аналитическая СУБД с открытым кодом. Позволяет выполнять аналитические запросы в режиме реального времени на структурированных больших данных.
Есть несколько версий Clickhouse, поддерживаемых и развиваемых независимыми коммерческими организациями, в частности:
Преимущества ClickHouse:
обладает высокой скоростью обработки запросов;
колоночная архитектура, используемая в ClickHouse, оптимизирует объём хранимых данных, снижая затраты на инфраструктуру.
поддерживает декларативный язык запросов на основе SQL, что упрощает внедрение ClickHouse в существующую экосистему;
поддерживает OLAP-аналитики. ClickHouse разработан для работы с оперативными аналитическими задачами, включая генерацию отчётов, мониторинг ключевых метрик и моделирование на основе больших данных.
Функция параметра сегментирования
Любая функция, например, для значений типа «Дата» можно использовать функции группировки дат по месяцам, по неделям и т.д. Для строковых типов данных (например для наименований номенклатуры) это может быть функция, выбирающая определенный кусок этой строки (например первые N букв).
ETL (Extract, Transform, Load)
Трехэтапный процесс управления данными. Дословно:
Извлечение (Extract): данные собираются из разных источников (например, из баз данных, обширных наборов неупорядоченных данных и др.);
Трансформация (Transform): данные очищаются, нормализуются и преобразуются для обеспечения консистентности (например, имена могут быть приведены в один формат, а адреса — стандартизированы);
Загрузка (Load): очищенные и трансформированные данные загружаются в целевую систему для дальнейшего анализа и отчетности.
SQL (Structured Query Language)
В переводе с английского «Язык структурированных запросов». Язык программирования, предназначенный для управления данными в СУБД.
С помощью SQL можно:
добавлять и читать данные;
удалять и обновлять записи в таблицах;
создавать и редактировать сами таблицы;
производить операции над данными: считать сумму, получать самое большое или малое значение и так далее;
настраивать работу сервера СУБД.
Популярные команды SQL: