Скрипты

Папка скриптов — сердце Data Agent. Это обычная папка обычных файлов на вашем сервере: по папке на каждый источник данных. Все скрипты пишет и поддерживает агент — вы их читаете и запускаете, а править руками не нужно. Интерфейс читает папку напрямую, поэтому изменения агента видны мгновенно.

Структура папки

Каждый источник данных — это папка scripts/{проект}/{источник}/, в которой живут:

README.md — обязательное описание источника: откуда данные, что внутри, какие поля. Оно же становится страницей папки в интерфейсе;
extract.py — скрипт выгрузки: берёт данные из внешнего сервиса и сохраняет в Parquet;
load.py — скрипт сборки: приводит выгруженные данные к единой базе SQLite для запросов и визуализации;
опционально download.py — скачивание файлов (если выгрузка идёт через файлы), test.py — проверки, заметки PLAN.md.

Правила папки

Parquet — всегда исходные данные: то, что выгрузил скрипт, не трогается;
SQLite — производная база: пересобирается скриптом load.py при каждом запуске;
журналы запусков пишутся рядом с данными в Lakehouse, а не в папке скриптов;
пароли и ключи — только в файле .env, в код их писать нельзя: они попадают в процесс переменными окружения на каждый запуск;
новая библиотека добавляется в requirements.txt — при старте контейнер доустановит её сам.

Дерево в интерфейсе

Раздел «Скрипты» показывает папки и файлы деревом. Страница папки — это её описание README, отформатированное как документ (заголовок, описание, заметки). Страница файла — код с подсветкой; для Markdown — готовый документ. Наверху всегда хлебные крошки, по которым видно, где вы находитесь.

Поиск, отметки, иконки

поиск по папкам и файлам работает по мере ввода — результат виден сразу;
непрочитанные изменения подсвечиваются, пока вы их не откроете;
у каждой папки можно настроить иконку — это единственная запись раздела наряду с отметками прочтения, сам код интерфейс не меняет.

Живые обновления

Слежение за файлами встроено в приложение: агент поправил скрипт — правка появляется на экране мгновенно, без перезагрузки. То же самое с новыми папками, описаниями и заметками: вы всегда видите текущее состояние папки.

Действия со страницы

постоянная ссылка на папку или файл — удобно делиться;
кнопка «Спросить агента» — открывает чат, куда уже подставлен путь к файлу: можно попросить исправить или объяснить;
у запускаемых файлов — кнопка запуска и история запусков прямо на странице.

Папка скриптов самодостаточна: её можно скопировать, упаковать в архив или держать отдельным Git-репозиторием — тогда агент работает прямо с репозиторием. Перенос на другой сервер — это просто перенос папки.

Читайте также: Запуски, Планировщик, Чат с агентом.

← Оглавление документации