Lakehouse

Lakehouse — это корневая папка данных на вашем сервере, куда скрипты складывают всё, что собрали. Данные разложены по полочкам «проект → источник», и браузер Lakehouse показывает их наглядно. Название заимствовано из дата-инженерии: «озеро данных» (lake) + «склад» (house). Данные — это ваши обычные файлы на вашем диске, их можно копировать и переносить.

Что лежит в папке источника

• README.md — описание источника: откуда данные, структура, поля, история изменений;
• *.parquet — исходные данные, выгруженные скриптом extract.py; Parquet — всегда источник правды, его не пересобирают;
• *.sqlite — база для запросов и визуализации: собирается скриптом load.py и пересобирается при каждом запуске;
• *.log — журналы извлечения, подготовки и загрузки.

Обзор проектов и источников

Главный экран Lakehouse — таблица всех проектов и источников: размер, свежесть данных, есть ли готовая база (обозначается иконкой). Работают поиск и сортировка. Если хранилище пустое, интерфейс подскажет: запустите скрипт загрузки — данные появятся здесь.

Браузер папок

Внутри источника — обычный браузер файлов: хлебные крошки наверху, папки перед файлами, сводка размера папки. Если в папке есть README, он рендерится над списком — вы сразу видите описание источника, не открывая файлы.

Просмотр файлов по типу

• Parquet — схема данных и первые строки (Apache Arrow) — быстрая проверка, что выгрузилось;
• SQLite — браузер таблиц: таблицы, поля, строки;
• Markdown — готовый документ, как на странице;
• текст и журналы — окно просмотра;
• любые другие типы — можно открыть как текст или Markdown.

Связь с источниками данных

База SQLite, на которую ссылается источник данных, помечена в Lakehouse бейджем — сразу видно, что источник зарегистрирован и к нему можно обращаться с запросами. Подробнее — на странице Источники данных.

Зачем это вам

Вы всегда видите, что собрано, откуда и насколько свежие данные — не нужно верить на слово журналам запусков. Удалить лишнее или перенести на другой сервер — это обычные операции с файлами. А подготовленные базы из Lakehouse автоматически становятся источниками для Analytics Agent — про это отдельная страница.

Читайте также: Скрипты, Источники данных.

← Оглавление документации