Три соседних экрана «Менеджмента» отвечают на три денежных вопроса: сколько токенов тратят агенты, во что это обходится и как быстро они работают. В боковом списке они стоят друг под другом сразу после «Флота» — «Токены», «Стоимость», «Скорость».
Раньше для этого был отдельный экран «Аналитика». Его содержимое переехало в эти три экрана и в таблицы экрана «Чаты», а машинный доступ к тем же цифрам — Prometheus, GraphQL и архив в ClickHouse — остался и описан на странице Аналитика и выгрузки.
Общее у трёх экранов
Устроены они одинаково, поэтому освоив один, вы освоите все три.
- Период выбирается справа от заголовка: последние 7, 14, 30 или 90 дней, последние 12 месяцев или всё время. Пунктов «Сегодня» и «Вчера» в списке нет — на эти два дня отвечают отдельные плитки внизу. «Последние 12 месяцев» — это ровно тот же день год назад, а не «примерно год»;
- Шаг графика выбирается сам по длине периода: до 31 дня — по дням, до 180 дней — по неделям, дальше по месяцам. Отдельной настройки нет, чтобы не сравнивать дни с месяцами по ошибке;
- Дни считаются в часовом поясе системы — том же, что в окне «Внешний вид». Поэтому границы суток здесь совпадают с отчётами и с тем, что видят агенты;
- Обновление идёт само, без перезагрузки страницы: как только агент закончил чат, числа подтягиваются. Значок вращения справа от выбора периода появляется только на ручную смену периода — при быстром ответе его не видно вовсе;
- Флот в шапке сужает всё сразу. Выбранный флот действует и на плитки, и на графики, и на таблицы, и на выгрузку. Вернув «Все», вы снова видите всю картину;
- Кнопка «Скачать» под таблицей разбивки отдаёт файл CSV с теми же строками: ключ, сумма, доля и число чатов. Ни одной строчки переписки в файле нет — только цифры.
Токены: сколько всего и куда уходит
Верх экрана — пять плиток. Сначала три про выбранный период: сколько было за такое же окно до него, сколько за сам период и сколько уйдёт за следующие столько же дней, если ничего не менять (это оценка по последней неделе, а не обещание). Потом две дневные: за вчера и за сегодня. Под числами стоит разница с предыдущим окном или с вчерашним днём — зелёная при росте, красная при падении, «как вчера» при равенстве.
На сущность приходится одно число: вход, выход, чтение и запись временного хранилища складываются вместе. Так сделано намеренно — иначе один и тот же чат считался бы четыре раза. Разбивка по видам есть ровно в одном месте: на вкладке «По типам» в графиках и таблице. Там четыре постоянные полосы — «Чтение временного хранилища», «Запись временного хранилища», «Ввод» и «Вывод» — в том же порядке, что и в отчётах. Их сумма равна итогу за период.
Графики называются «Тренды токенов» и имеют шесть вкладок: по фабрике, по агенту, по модели, по навыку, по приложениям и по типам. Они рисуются сразу, без анимации: переключение вкладки или периода не заставляет столбики «вырастать» заново. Если навести указатель на отдельный столбик, подсветится вся его серия, а подсказка сузится до неё одной — с числом за наведённый день и итогом этой серии за весь период. Наведение на пустое место возвращает общую подсказку со всеми сериями дня и их суммой.
Под графиками — «Распределение токенов»: два профиля и одна гистограмма. Профили «Токены по часам суток» (24 столбика) и «Токены по дням недели» (семь, начиная с понедельника) отвечают, когда тратятся токены. Гистограмма показывает, как отдельные чаты разбросаны вокруг общего числа: каждый чат — одна точка, свои токены за всю жизнь. Самые большие и самые маленькие 3% чатов собираются в крайние столбцы «≤» и «≥», чтобы редкие выбросы не сплющивали остальные.
Стоимость: во что это обходится
Экран «Стоимость» — те же пять плиток, только в деньгах: расход за прошлое окно, за текущее, прогноз, вчера и сегодня. Если задан месячный бюджет, рядом появляется шестая плитка с его остатком.
Вкладка «по приложениям» отвечает на вопрос, кто именно тянет бюджет: чат относится к тому приложению, которое его создало (Мультиагент, сам агент, другое приложение фабрики). Всё, что отнети не удалось, — старые чаты без пометки — собирается в строку «Без приложения», чтобы суммы сходились с общими плитками.
Ниже идут четыре блока. «Тренды расходов» — те же вкладки, что на «Токенах», но в деньгах. «Атрибуция» занимает всю ширину: одна строка на фабрику, агента, модель или навык — расход, доля и число чатов, с переходом на карточку агента или страницу фабрики. Дальше — «Потолки и предохранители»: предел на один чат, на агента в день и на все токены запуска, плюс что делать при превышении — остановить работу, просто уведомить или спросить подтверждение. Последняя пара блоков — «Отклонения»: агенты, которые тратят заметно больше своего обычного профиля.
Светофора по аккаунтам поставщиков моделей на этом экране больше нет — он переехал в нижнюю часть экрана «Флот», где ему и место: это состояние внешних сервисов, а не расход. Квоты и балансы по-прежнему настраиваются на странице Аккаунты.
«Распределение расходов» устроено точно так же, как распределение токенов, только в деньгах: по часам суток, по дням недели и по отдельным чатам. Столбики часов и дней складываются в ту же сумму, что показывают плитки за период.
Скорость: насколько быстро отвечают агенты
Скорость — это сколько токенов ответа агент выдаёт за секунду работы. Считается она по каждому чату отдельно, и чат попадает в тот день, когда в последний раз был активен. Число показывает именно скорость работы модели, а не время ожидания в очереди.
Главное правило экрана: любое общее число — это взвешенная скорость, то есть все токены за период, делённые на всё время обработки. Так нельзя получить красивую цифру из одного быстрого чата: длинные и короткие чаты влияют на итог по своей реальной работе. Среднее из средних здесь не считается никогда.
Плиток тоже пять: скорость за прошлое окно, за текущее, прогноз, вчера и сегодня. Разница под числом читается наоборот по сравнению с деньгами: рост — зелёный (быстрее лучше), падение — красный. Если измерить нечего, экран честно пишет «Измерять скорость пока нечего», а не рисует нули.
«Тренды скорости» — пять вкладок (по фабрике, агенту, модели, навыку, приложениям) и один график, но не столбики, а линии: скорости не складываются, поэтому складывать их в стопку было бы неправдой. Там, где ключ в этот день не работал, линии просто нет — разрыв, а не ноль: ненаблюдаемая скорость не то же самое, что медленная. Линии слегка сглажены, чтобы видны были изломы, а не идеальная волна; наведение на линию подсвечивает её и показывает только её числа.
Под трендами два блока. «Атрибуция» — одна строка на ключ: его скорость, доля выходных токенов за период (скорости не суммируются, поэтому доля считается по токенам) и число чатов. Строки идут от самых быстрых, а те ключи, у которых скорость не наблюдалась, не показываются вовсе. «Распределение скорости» — те же три графика, что на «Токенах» и «Стоимости»: скорость по часам суток, скорость по дням недели и гистограмма токенов в секунду по отдельным чатам.
Что важно знать
- Чат относится к дню своей последней активности. Если работа шла три дня, вся она попадёт в третий день. Перезапуск Мультиагента картину не сбрасывает — история остаётся на месте;
- «Всё время» — это не бесконечность. Самый глубокий период, который можно посмотреть, — около года: этого хватает всем готовым вариантам, но многолетней истории в этих числах нет. Для долгого хранения есть архив в ClickHouse;
- Удалённые на агенте чаты исчезают из списков, но остаются в итогах и на графиках за прошлые периоды — иначе суммы «прыгали» бы задним числом;
- Все три экрана читают локальную копию данных, а не самих агентов: поэтому они открываются мгновенно и не нагружают фабрики, но свежая цифра приходит с задержкой в несколько секунд;
- Разбивки расходов по аккаунтам нет. Вся стоимость чата относится к его текущей модели, поэтому смена модели посреди работы переносит всю строку целиком. Об этом честно написано прямо на экране.
О том, как устроен сам пульт, — на странице Менеджмент; о машинном доступе к тем же цифрам — на странице Аналитика и выгрузки.