Сохранить в Parquet | Save Parquet

Save Parquet сохраняет входной датафрейм в файловое хранилище. Подключите датафрейм и файловое подключение, например S3 или FTP/SFTP, затем выберите путь сохранения.

Один файл или набор файлов

В редакторе доступны два варианта:

Вариант

Когда использовать

Пример пути

Simple

Нужен один файл

reports/sales.parquet

Advanced

Нужен каталог с несколькими файлами, добавление данных или разбиение по колонкам

reports/sales

В Advanced путь обозначает каталог набора данных и не должен оканчиваться на .parquet. Имена файлов внутри него задаются отдельно.

PARQUET-01

Simple: reports/sales.parquet, сжатие snappy, режим overwrite — существующий файл перезаписывается.

Режим записи

  • create — создать новый файл или набор данных. Для нового набора выберите пустой каталог; существующие данные не следует считать автоматически заменяемыми.

  • overwrite — заменить содержимое целевого файла или набора данных. Для каталога это означает замену его содержимого, поэтому выбирайте отдельную папку для этого результата.

  • append — добавить файлы к существующему набору данных. Сначала создайте набор через create. Добавление доступно в Advanced.

Simple недоступен для append. Если режим записи задан выражением и может вернуть append, сначала задайте явно create или overwrite, чтобы перейти в Simple.

Настройки Advanced

Лимит строк (row_cap) задаёт максимум строк в одном выходном файле, а не количество строк всей выгрузки. Например, при лимите 100000 большой результат будет разделён на файлы меньшего размера. Общее количество записанных строк этим параметром не ограничивается.

Filename template задаёт имя файла внутри каталога. Можно использовать <partition_index>, <increment> и <uuid>. Например: part-<increment>.parquet. В шаблоне задаётся только имя файла, без пути к папке.

Разбиение по колонкам (partition_on) раскладывает данные по подкаталогам в зависимости от значений выбранных колонок. Например, разбиение по region удобно для последующего чтения данных отдельных регионов.

PARQUET-02

Advanced: reports/sales, шаблон part-<increment>.parquet, разбиение по region. Лимит строк не задан, выбран overwrite, сохранение индекса включено.

При переключении из Advanced обратно в Simple очищаются шаблон имён, лимит строк на файл и разбиение по колонкам. Перед сохранением проверьте итоговые настройки.

Сжатие, индекс и типы колонок

Выберите сжатие: snappy, gzip, brotli, zstd, lz4 или none. Переключатель сохранения индекса добавляет индекс датафрейма в записываемые данные.

При необходимости задайте типы колонок Parquet (parquet_types). Это позволяет явно указать, в каком типе записывать колонку. Проверяйте соответствие типа исходным данным и требованиям программы, которая будет читать файлы.

Выбор хранилища и пути

Путь можно выбрать через файловый менеджер. В параметрах подключения можно переопределить bucket, prefix или initial_directory, если одно подключение используется для разных папок. Для S3 настройка verify управляет проверкой SSL-сертификата и переопределяет значение подключения для этой ноды.

Ранее созданные проекты

Сохранённые проекты могут использовать прежний режим записи. При переводе ноды на новый вариант проверьте путь, режим записи, лимит строк и шаблон имён: структура выходных файлов может измениться. Для первой проверки выберите отдельный каталог и сравните результат с ожидаемым.