---
title: "Источники данных"
id: "1716"
type: "page"
slug: "sources"
published_at: "2026-09-04T10:19:36+00:00"
modified_at: "2026-10-22T16:36:13+00:00"
url: "https://pastukhov.com/agents/data/docs/sources/"
markdown_url: "https://pastukhov.com/agents/data/docs/sources.md"
excerpt: "Источник данных — это то, к чему можно обращаться с запросами: таблицы с полями, из…"
---

# Источники данных

[https://pastukhov.com/agents/data/docs/sources/.md](https://pastukhov.com/agents/data/docs/sources/.md)

Источник данных — это то, к чему можно обращаться с запросами: таблицы с полями, из которых Analytics Agent строит отчёты, а агент — проверяет результаты. В Data Agent источники не нужно настраивать руками: они появляются сами, как только в данных появляется готовая база.

## Автоматическое обнаружение

Каждая папка Lakehouse, в корне которой есть файл базы SQLite, становится источником с именем `{проект}_{источник}` — например, `market_prices`. Источник указывает на самую свежую базу папки и открыт только для чтения: скрипты пишут данные, а запросы их не меняют. Если база удалена, источник исчезает при следующем пересканировании.

## Свежесть данных

Пересканирование происходит после завершения каждого запуска скрипта в папке источника, а также при обращении к ещё неизвестному имени. Поэтому свежие данные, которые только что собрал скрипт, доступны для запросов сразу — ничего не нужно «обновлять» вручную.

## Переопределения и внешние базы

Иногда нужно изменить обнаруженный источник: указать другую базу, поправить название или настройки — или подключить базу, которая лежит не в Lakehouse. Для этого служат JSON-файлы в папке переопределений (в версионируемом каталоге приложения `apps/data/sources`). Один битый файл не ломает реестр: он пропускается с предупреждением, остальные источники работают.

## Запросы к данным

Сегодня запрашиваются SQLite-источники. Разрешены запросы только на чтение (SELECT): агент проверяет данные после загрузки, вы — используете их в своей аналитике. Схема таблиц доступна сразу — видно, какие поля и типы лежат в каждой таблице.

## Интерфейс — дашборд только для чтения

Раздел «Источники данных» показывает список источников, детали каждого и счётчик таблиц. Регистрирует источники агент — в интерфейсе их нельзя создать или изменить, но и случайно сломать тоже нельзя.

## Смысл простыми словами

Раньше подключение базы данных — это настройка соединений, прав доступа и форматов. Здесь — ничего этого: скрипт собрал базу в Lakehouse, и источник готов к использованию. Один принцип «положил базу — получил источник» покрывает и новые задачи.

## Откуда берётся материал для источника

Источник появляется там, где лежит готовая база, а базу собирает скрипт. Материал для неё скрипт обычно берёт напрямую — из API, файлов или выгрузок. Но когда нужен массовый сбор — сотни страниц конкурентов, десятки поисковых запросов, тысячи коротких текстов, — в дело вступают сборщики (харвестеры): они ищут в интернете, скачивают страницы и обрабатывают тексты моделями. HTML-страницы при этом сохраняются как чистый текст Markdown, а исходная страница — рядом с ним.

Сборщики — это отдельные сервисы: они настраиваются один раз в разделе «Харвестеры», а запускает их агент. Так материал собирается быстро и в большом объёме, а скрипты превращают его в данные Lakehouse — и в итоге в источники, по которым строятся отчёты.

Читайте также: [Харвестеры](/agents/data/docs/harvesters)
, [Lakehouse](/agents/data/docs/lakehouse)
, [Запуски](/agents/data/docs/runs)
, [Данные для Analytics Agent](/agents/data/docs/for-analytics)
.

[← Оглавление документации](/agents/data/docs)