«Прокси-агент» — это одна программа на вашем сервере, через которую все ваши программы обращаются к ИИ-моделям. Вместо того чтобы заводить ключи у десятка поставщиков и раскладывать их по компьютерам, вы храните ключи поставщиков в одном месте, а людям и подрядчикам выдаёте свои ключи доступа — с пределом расхода и списком разрешённых моделей. Заодно продукт ведёт журнал запросов, считает расходы в деньгах, умеет прятать секреты из запросов и пускать через тот же сервер обычный трафик — не связанный с ИИ.
Главная мысль
Моделей и поставщиков становится всё больше, и вместе с ними растёт беспорядок. Ключи от поставщиков расходятся по компьютерам сотрудников и подрядчиков, никто не помнит, где какой, а счёт в конце месяца приходит одной непонятной суммой. «Прокси-агент» собирает всё это в одну точку: программы обращаются не к десяти поставщикам, а к одному адресу — вашему серверу.
Что это даёт на практике:
- Ключи поставщиков не расходятся по компьютерам — они лежат в одном месте, а каждому человеку выдаётся свой ключ доступа.
- Расход виден в деньгах, а не в токенах — вы задаёте цены моделей, и продукт считает стоимость каждого запроса.
- Предел расхода можно поставить заранее — на день, неделю, месяц или на весь срок; исчерпал — доступ закрылся.
- По каждому запросу остаётся запись — кто, какая модель, сколько стоило, через какой канал связи ушло.
- Ключ можно отозвать мгновенно — у подрядчика закончился проект, и его доступ закрывается одним движением.
Кому подходит
- Небольшой команде — несколько человек пользуются ИИ из разных программ, и хочется видеть, сколько это стоит и кто именно тратит.
- Компании с подрядчиками — внешним исполнителям нужен доступ к моделям, но не к вашим ключам поставщиков.
- Тем, у кого несколько поставщиков — одна программа работает с моделями разных поставщиков, и переключаться между ними вручную неудобно.
- Тем, кто заботится о секретах — из запросов можно заранее убрать ключи, пароли и номера документов, чтобы они не уходили в модель.
- Небольшой студии или отделу — нужен свой прокси и для обычного трафика: браузеров, служебных программ, ботов.
Чем отличается от «просто ключа от поставщика»
Ключ от поставщика — это пропуск, но без всякого учёта: кто им пользуется, сколько тратит и на что именно, вы не знаете. «Прокси-агент» встаёт между программами и поставщиком и добавляет к этому пропуску порядок: свои ключи доступа для людей, пределы расхода, журнал и аналитику.
Отдельно стоит сказать про похожее название. На сайте есть страница «Прокси-сервер» — это другая вещь: встроенный прокси внутри Pastukhov Agent, который нужен самому агенту для работы с моделями. «Прокси-агент» — самостоятельный продукт: им пользуются все ваши программы, а не только один агент.
Из чего состоит продукт
Несколько слов, которые дальше встречаются постоянно. Почти все они — названия разделов в самом интерфейсе.
- Главная — сводка: сколько моделей и ключей, объём запросов, доля ошибок, расход и трафик прокси-службы.
- Ключи — ключи доступа: кому какой выдан, с какими пределами и на какие модели.
- Модели — записи о том, куда и как обращаться к модели и сколько стоит миллион её «порций текста» (токенов).
- Провайдеры — каналы связи в интернет: свой прокси, SOCKS5 или VPN. По-простому — через что выходит ваш трафик.
- Журналы — записи о каждом запросе к модели и отдельно о трафике прокси-службы.
- Аналитика — цифры по журналу: объём, задержки, разбивки по моделям, ключам и ошибкам, расходы во времени.
- Скрытие секретов — правила, по которым секреты заменяются условными обозначениями перед отправкой в модель и возвращаются на место в ответе.
- Настройки — язык, тема, включение прокси-службы, сроки хранения отчётов об утечках.
Если подключить внешний Pastukhov Agent, появляется ещё чат с ИИ-агентом прямо внутри интерфейса — можно спросить, что показывают журнал и аналитика, и попросить помочь с настройкой.
Первый вход
Установка описана в разделе Установка. Учётная запись администратора одна, и она задаётся переменными окружения PROXYAGENT_ADMIN_LOGIN и PROXYAGENT_ADMIN_PASSWORD. Пароль хранится не как есть, а его необратимой суммой (SHA-256, записанной строчными буквами) — готовую строку выдаёт встроенный генератор прямо в форме входа. Переменные читаются на каждом запросе, поэтому сменить вход можно без перезапуска. Вход держится 90 дней, пароль повторно вводить не придётся.
Первые шаги
- Заведите модель — укажите её публичное имя, адрес поставщика, ключ поставщика и цены за миллион «порций текста». Без цен продукт посчитает модель бесплатной.
- Проверьте связь — кнопка «Проверить» отправляет запрос по настоящему пути модели и показывает, отвечает ли поставщик.
- Создайте ключ доступа — назовите его по человеку или программе. Готовый ключ показывается ровно один раз: сохраните его сразу.
- Подключите одну программу — замените в ней адрес поставщика на адрес вашего сервера, а ключ поставщика — на свой ключ доступа.
- Посмотрите журнал — после первого запроса там появится строка: модель, ключ, стоимость, длительность. Если строки нет, значит программы ещё не обращаются к серверу.
Что понадобится
Честно с самого начала: продукт не облачный. Ему нужен ваш сервер с Docker и отдельная база PostgreSQL — она хранит модели, ключи, журналы, настройки и расходы. Всё это живёт у вас, и доступ к интернету нужен только самому серверу, чтобы обращаться к поставщикам моделей.
Дальше: как выдавать ключи доступа и ставить им пределы — в разделе Ключи доступа.