Агент данных

Соберите данные откуда угодно — просто попросите агента. Он напишет скрипты, запустит их в нужное время, а Analytics Agent превратит результат в наглядные отчёты

Data Agent — это сбор данных без программирования. Вы описываете в чате, какие данные нужны («собери цены конкурентов раз в день», «выгрузи статистику по заказам»), — агент пишет и поддерживает скрипты, запускает их вручную или по расписанию и складывает результат в аккуратный Lakehouse: исходные файлы, базу для визуализации, описание и логи по каждому источнику. Дальше в дело вступает Analytics Agent: он строит по собранным данным отчёты, графики и панели. В интерфейсе Data Agent нет ни ручного ввода данных, ни ручного редактирования скриптов — этим занимается агент.

Когда данных особенно много — сотни страниц, десятки запросов, тысячи коротких текстов — в дело вступают сборщики (харвестеры): сервисы массового поиска, загрузки страниц и обработки текста моделями. Агент запускает их сам, а вы следите за результатом и расходами.

Сбор данных откуда угодно: API, сайты, базы — всё, что можно вытащить скриптом

Скрипты пишет и поддерживает агент в чате — программировать не нужно

Запуск в один клик и по расписанию: от «каждые 15 минут» до раза в день

Скрипты — обычные файлы в папке: Git, версионирование, перенос копированием

Вывод запусков в реальном времени с логами и историей

Данные складываются в Lakehouse: Parquet — исходные, SQLite — для визуализации

README описывает каждый источник данных: что, откуда и как собирается

Массовый сбор: сотни страниц, запросов и текстов за один запуск

Библиотеки ставятся сами: агент дописывает их в общий список — вручную обновлять ничего не нужно

Источники данных обнаруживаются автоматически — по одному на папку Lakehouse

SQLite-базы после загрузки готовы для визуализации в Analytics Agent

Встроенный планировщик: изменения расписания подхватываются на лету

Пропущенный запуск не теряется: выполнится при первом же удобном случае

Аналитика агента: токены, стоимость и нагрузка по часам и дням

Модель и навык выбираются под каждую задачу в чате

Очередь промптов: агент выполняет задачи одну за другой

Сборщики для поиска, загрузки и генерации — настраиваются один раз, применяет их агент

Скрипты связываются цепочкой: выгрузка завершилась — сборка базы запускается сама

Работает на вашем центральном Pastukhov Agent — без лишних ключей и подписок

Папка скриптов общая с Pastukhov Agent: обе стороны видят одни и те же файлы

Всё на вашем сервере: один Docker-контейнер, собранные данные — в папке /data

SQLite или PostgreSQL на выбор

Полная русская локализация интерфейса

Мобильный интерфейс: следить за запусками с телефона

Часть экосистемы агентов: Research Agent собирает знания, Data Agent — данные, Analytics Agent — отчёты

Данные — по вашей просьбе

Чат с агентом: задача описана обычными словами — агент ведёт план работ и отмечает выполненные шаги

Опишите словами, какие данные нужны — агент напишет скрипт и запустит его

Скрипты создаются и исправляются в чате — в интерфейсе редактировать ничего не нужно

Выбор модели и навыка под каждую задачу

Изменения агента фиксируются в Git — вся история правок под рукой

Скрипты — простая папка

Страница скрипта в папке проекта: слева дерево папок, код с подсветкой и кнопка «Запустить»

Каждый источник данных — отдельная папка: скрипты, документация, заметки

Страница каждой папки и файла с понятным форматированием

Поиск по всем файлам по мере ввода

Изменения агента появляются мгновенно, без перезагрузки

Запуск в один клик

Запуск скрипта: бейджи «Расписание» и «УСПЕШНО», время начала, код выхода и вывод запуска

Кнопка «Запустить» на странице любого скрипта

Вывод идёт в реальном времени — видно, что происходит прямо сейчас

История запусков с результатами, логами и метками: вручную / по расписанию / агентом / связкой

Остановка, предельное время работы и общий выключатель запусков

Связки «после запуска»: вслед за удачной выгрузкой сама запускается сборка базы

Запуск может вернуть итог готовыми данными — они видны прямо в истории

Расписание без хлопот

Планировщик: три расписания с интервалами cron, следующим запуском и кнопкой «Запустить сейчас»

Расписание — один файл schedule.yml, агент меняет его по вашей просьбе

Интервалы («каждые 15 минут», «раз в день») и точное время — минута, час, день месяца

Изменения подхватываются на лету, без перезагрузки

Пропущенный запуск не теряется: выполнится при первом удобном случае

Связки «после запуска»: запись расписания сама запускает следующий скрипт — после успеха или после ошибки

Lakehouse — данные в порядке

Lakehouse: описание источника и его файлы — Parquet-данные, лог запусков и база SQLite рядом

Структура «проект → источник»: всё лежит по полочкам

Parquet — всегда исходные данные, SQLite — база для визуализации

README описывает каждый источник, логи запусков лежат рядом с данными

Обзор источников: размер, свежесть, просмотр прямо из браузера

Источники данных

Источники данных: 13 SQLite-баз, найденных в хранилище автоматически, с путями и числом таблиц

Автоматическое обнаружение: появилась база в Lakehouse — источник готов

Схемы таблиц видны сразу

Переопределения и внешние базы подключает агент

Обновление после каждого запуска скрипта — свежие данные сразу

Массовый сбор данных

Харвестеры: вкладки «Поиск», «Загрузка» и «Генерация» — в демо сборщики пока не настроены

Массовый поиск по десяткам запросов сразу — Google, Яндекс, Brave, DuckDuckGo и другие сервисы

Загрузка сотен страниц: обычным запросом, через прокси или невидимым браузером — сайты с защитой тоже поддаются

Обработка текста моделями большими пакетами: разметка, извлечение полей, перевод

Если сервис не ответил, сбор переходит к следующему — данные всё равно будут собраны

Видно, сколько задач выполнено, сколько потрачено и сколько осталось ждать

Задания сбора хранятся в базе приложения — перезапуск сервера их не теряет

Данные для Analytics Agent

Просмотр собранных данных: схема таблицы orders на 16 колонок и первые строки из 43 701 заказа

Собранные данные готовы к визуализации сразу после загрузки

Analytics Agent строит по ним отчёты, графики и панели

Чистая SQLite-база — результат каждого конвейера

Data Agent собирает, Analytics Agent показывает — одна связка

Аналитик читает данные, изменения — только через защищённое API Data Agent

Аналитика агента

Аналитика агента: 374.9M токенов и $108.74 за 30 дней, сообщения и график токенов по дням

Сколько токенов и средств уходит на сбор данных

Нагрузка по часам дня и дням недели

Распределения длительности и скорости ответов

Стоимость по моделям и по чатам

Работает на Pastukhov Agent

Список чатов агента: сессии с моделями, стоимостью и счётчиком сообщений по каждой задаче

Чат и функции ИИ — из вашего центрального Pastukhov Agent

Без лишних ключей и подписок

Единый чат с агентом на всех страницах интерфейса

Агент управляет сбором через программный интерфейс (API): сессии, запуски, расписания

Всё на вашем сервере

Главная страница Data Agent: сводка хранилища (13 источников, 80.4 MB) и последние запуски

Один Docker-контейнер — и всё работает

Собранные данные лежат в папке /data на вашем диске — переживают пересоздание контейнера

Папка скриптов общая с Pastukhov Agent — обе стороны видят одни файлы

SQLite или PostgreSQL на выбор

Экономия ресурсов в простое: процессор не нагружается, а через 15 минут без активности освобождается память — продукт спокойно живёт рядом с другими сервисами

Лицензия активируется ключом в интерфейсе. Без действующей лицензии не работают отправка сообщений агенту и управление очередью промптов; запуски, планировщик, Lakehouse и просмотр данных работают и без лицензии. Данные остаются вашими: скрипты — обычные файлы в папке, данные — в Lakehouse на вашем диске.