Источник данных — это то, к чему можно обращаться с запросами: таблицы с полями, из которых Analytics Agent строит отчёты, а агент — проверяет результаты. В Data Agent источники не нужно настраивать руками: они появляются сами, как только в данных появляется готовая база.
Автоматическое обнаружение
Каждая папка Lakehouse, в корне которой есть файл базы SQLite, становится источником с именем {проект}_{источник} — например, market_prices. Источник указывает на самую свежую базу папки и открыт только для чтения: скрипты пишут данные, а запросы их не меняют. Если база удалена, источник исчезает при следующем пересканировании.
Свежесть данных
Пересканирование происходит после завершения каждого запуска скрипта в папке источника, а также при обращении к ещё неизвестному имени. Поэтому свежие данные, которые только что собрал скрипт, доступны для запросов сразу — ничего не нужно «обновлять» вручную.
Переопределения и внешние базы
Иногда нужно изменить обнаруженный источник: указать другую базу, поправить название или настройки — или подключить базу, которая лежит не в Lakehouse. Для этого служат JSON-файлы в папке переопределений (volume /data). Один битый файл не ломает реестр: он пропускается с предупреждением, остальные источники работают.
Запросы к данным
Сегодня запрашиваются SQLite-источники. Разрешены запросы только на чтение (SELECT): агент проверяет данные после загрузки, вы — используете их в своей аналитике. Схема таблиц доступна сразу — видно, какие поля и типы лежат в каждой таблице.
Интерфейс — дашборд только для чтения
Раздел «Источники данных» показывает список источников, детали каждого и счётчик таблиц. Регистрирует источники агент — в интерфейсе их нельзя создать или изменить, но и случайно сломать тоже нельзя.
Смысл простыми словами
Раньше подключение базы данных — это настройка соединений, прав доступа и форматов. Здесь — ничего этого: скрипт собрал базу в Lakehouse, и источник готов к использованию. Один принцип «положил базу — получил источник» покрывает и новые задачи.
Читайте также: Lakehouse, Запуски, Данные для Analytics Agent.