Расходы и лимиты

Расход в ИИ измеряется не в токенах, а в деньгах — и «Прокси-агент» переводит одно в другое по ценам, которые вы указали у модели. Так вы видите не «потратили миллион токенов», а «потратили девять долларов», и можете заранее поставить предел.

Две цены на каждый запрос

Для каждого запроса записываются две независимые суммы. Они не смешиваются и не усредняются — это просто два разных взгляда.

  • Наша цена — считается по ценам модели, которые вы задали. По ней работают пределы расхода и вся аналитика. Это единственная сумма, которая на что-то влияет.
  • Цена поставщика — если поставщик сам сообщает стоимость в ответе, она сохраняется рядом. Служит только для сверки: сравнить, сходится ли ваша цена с тем, что начислил поставщик.

Цена поставщика никогда не ограничивает запросы, как бы велика она ни была. Если поставщик сообщит тысячи долларов, а ваши цены дают пять центов, предел расхода будет считать пять центов.

Как считается «наша» цена

Формула простая: каждую часть работы умножаем на её цену за миллион «порций текста», складываем и делим на миллион.

  • Отправленный текст — по цене ввода.
  • Ответ модели — по цене вывода. Сюда же попадают «размышления»: отдельной цены для них нет, они считаются как обычный вывод.
  • Повторно использованный текст — по своей, обычно меньшей цене.
  • Подготовка текста к повторному использованию — по цене записи во временное хранилище.

Нюанс про повторно использованный ввод: у разных поставщиков он по-разному учитывается в отчёте. Одни уже включают его в общий объём отправленного текста, другие показывают отдельно. Продукт сам разбирается, общий это счёт или раздельный, и не считает один и тот же текст дважды.

Пример расчёта

Модель стоит один доллар за миллион на вводе и два доллара за миллион на выводе. Обычный короткий диалог: 600 «порций» текста отправлено, 200 пришло в ответ.

Что считаемСколькоПо какой ценеИтог
Отправленный текст600$1,00 за миллион$0,0006
Ответ модели200$2,00 за миллион$0,0004
Всего за запрос$0,001

Даже тысячи таких запросов стоят доллары, а не десятки долларов. Именно поэтому расход удобнее смотреть по ключам: один человек или программа может «съесть» заметную часть бюджета незаметно для остальных.

Особые случаи

  • Модель без цен считается бесплатной. Запросы и токены в журнале появятся, а расход останется нулевым. Если вы забыли заполнить цены, цифры будут заниженными — стоит проверить.
  • Заблокированные запросы стоят ноль. Отказ по пределу расхода или по списку моделей не добавляет расход ни в один период.
  • Сорвавшиеся запросы тоже стоят ноль. Если запрос упал с внутренней ошибкой, расход по нему не начисляется, даже если часть ответа уже пришла.
  • Ошибка поставщика может стоить денег. Если поставщик ответил ошибкой, но в его ответе есть данные о токенах, расход считается — работа-то была выполнена.

Сводка по ключу

В разделе «Ключи» у каждого ключа видно, сколько потрачено за день, неделю, месяц и всего. День считается по суткам, неделя — с понедельника, месяц — календарный. Эти же суммы проверяются перед каждым запросом, поэтому превысить заданный предел незаметно не получится: как только расход дошёл до предела, следующий запрос отклоняется.

Как выключить расход

  • Деактивировать ключ — доступ закрывается сразу, деньги не тратятся вообще.
  • Поставить предел 0 — ключ существует, но ни один запрос не проходит. Удобно «заморозить» доступ, не удаляя его.
  • Ограничить список моделей — ключ сможет обращаться только к дешёвым моделям, к остальным получит отказ.

Дальше: что именно записывается про каждый запрос — в разделе Журнал запросов.

← Оглавление документации