Проверка на уровне сообщений отвечает на вопрос «правильно ли», сборки ловят ошибки в коде, а аналитика смотрит на работу в целом: эффективно ли вы пользуетесь ИИ, сколько это стоит и где можно сэкономить. Она собирает данные о расходе токенов (порций текста, за которые вы платите), стоимости, скорости ответов и активности во всех ваших сессиях и наглядно показывает закономерности — например, в какие часы вы работаете продуктивнее всего.
Данные по каждому сообщению
У каждого сообщения в чате есть свои показатели. Наведите курсор на сообщение, чтобы увидеть его статистику; итоговые суммы показаны в заголовке страницы:
- Время обработки — сколько секунд модель потратила на этот ответ
- Входные токены — сколько текста отправлено модели на этом шаге
- Выходные токены — сколько текста модель сгенерировала в ответ
- Прочитанные токены кэша — текст, взятый из кэша (повторное обращение к уже обработанным данным): это быстрее и заметно дешевле нового ввода
- Стоимость — рассчитанная цена ответа по тарифам модели (с учётом ввода, вывода и кэша)
По этим цифрам удобно ловить проблемы на ходу. Необычно большой вход при большой доле кэш-токенов говорит о том, что кэш используется неэффективно — в этом случае стоит попробовать другую обвязку. Долгая обработка при огромном выходе — признак того, что модель генерирует лишний текст.
Панель аналитики
Страница аналитики собирает панель из 24 графиков, сгруппированных в сворачиваемые разделы — можно открыть только то, что нужно.
Обзорные карточки
Вверху страницы — главные цифры за выбранный период: число проектов, сессий, ваших сообщений, ответов модели, использованных инструментов, суммарная стоимость, все виды токенов, время обработки и количество коммитов. Карточки обновляются сами при смене периода.
Графики использования
- Разбивка стоимости — круговая диаграмма: на что уходят деньги
- Токены по времени — как менялся расход входящих, исходящих и кэш-токенов день за днём
- Сообщения по времени — общее количество сообщений за выбранный период
- Токены в секунду — скорость ответов модели, удобно сравнивать модели между собой
- Стоимость по часам — когда в течение дня вы тратите больше всего
- Промпты по часам — сколько запросов вы отправляете каждый час
- Коммиты по часам — в какое время вы обычно сохраняете результаты работы
Анализ закономерностей
- Токены по часам дня — когда расход максимален
- Сообщения по часам дня — когда вы активнее всего
- Токены по дням недели — недельный ритм расхода
- Сообщения по дням недели — какие дни самые продуктивные
Распределения
- Распределение токенов — как расход распределён по сессиям
- Распределение сообщений — насколько сессии отличаются по размеру
- Распределение стоимости — на какие чаты уходит больше всего
- Распределение длительности — насколько сильно различается время обработки
Сравнение моделей
- Стоимость по моделям — сколько тратит каждая модель или поставщик
- Токены по моделям — сколько текста «съедает» каждая модель
- Скорость по моделям — сравнивайте быстроту ответов и выбирайте модель по соотношению цены и качества
Период и детализация
Все графики подчиняются выбору периода вверху панели:
- Готовые периоды — сегодня, последние 7 дней, последние 30 дней, последние 90 дней
- Свой период — любые даты начала и конца
Уровень детализации определяет, насколько «мелко» разбиты данные:
- Почасовой — одна точка в час; удобен для коротких периодов (сегодня, вчера)
- Дневной — одна точка в день, используется по умолчанию
- Недельный — итоги по неделям; подходит для периода от месяца до квартала
- Месячный — итоги по месяцам; для долгосрочных наблюдений
Если выбранный период длиннее 31 дня, панель сама переключает почасовую детализацию на дневную, чтобы графики оставались читаемыми.
Таблица чатов
Под графиками — сортируемая таблица всех сессий за выбранный период. В строках: название чата, модель, общая стоимость, количество токенов, время обработки, число ваших сообщений, число ответов и коммитов. Нажмите на заголовок столбца, чтобы отсортировать по нему; для длинных списков есть разбивка на страницы.
В таблице видны и обычные чаты, и чаты подагентов (из промпт-сборок) — они связаны с основным разговором. Так можно проследить всю цепочку: от вашего сообщения до проверяющего агента, которого оно запустило.
Выгрузка в ClickHouse
Если вы ведёте несколько проектов, удобно сводить статистику по всем сразу. Для этого Pastukhov Agent умеет передавать данные аналитики в ClickHouse — специализированную базу данных для больших объёмов. Из каждой сессии собирается подробный набор показателей: токены (вход, выход, кэш), стоимость, время обработки, число сообщений и коммитов — как по основному чату, так и по чатам подагентов.
- Хранение — данные разбиваются по месяцам, внутри упорядочены по проекту, времени и чату — быстро ищутся даже на больших объёмах
- Отправка — данные передаются пакетами (по 500 записей), при сбоях отправка повторяется автоматически
- Настройка — достаточно задать адрес базы в переменной окружения
AGENT_CLICKHOUSE_URL(параметр запуска). На странице аналитики появится кнопка «Отправить в ClickHouse» для ручной выгрузки
С данными в ClickHouse можно строить свои отчёты и графики — например, панели в Grafana (программе для наглядного отображения данных) сразу по всем проектам, а не по одному.
Полезные приёмы
- Следите за кэшем — большая доля прочитанных кэш-токенов значит, что контекст переиспользуется эффективно и вы экономите. Низкая — каждый шаг обрабатывает много нового текста
- Сравнивайте модели по стоимости — график стоимости по моделям покажет, справляется ли более дешёвая модель с обычными задачами. Если качество не страдает — переключайтесь
- Следите за циклами исправлений — резкий рост стоимости после включения Автоисправления может означать, что модель зациклилась. Ищите в таблице чатов сессии с необычно большим числом сообщений
- Проверяйте скорость ответов — токены в секунду заметно отличаются у разных моделей. Если модель стабильно медленная — для таких задач есть смысл взять более быструю
- Планируйте работу по своим пикам — график коммитов по часам подскажет, когда вы выдаёте результат лучше всего. Ставьте важные задачи на свои «продуктивные часы»
Подробнее о возможностях аналитики — в разделе Аналитика. О контроле каждого сообщения во время сессии — Проверка вывода чата. Об управлении контекстом — Использование контекста.