Токены и использование
Модели преобразуют вход и выход в токены. Точное количество зависит от модели, модальности и токенизатора.
Категории
- входные токены (
input/prompt): входные данные запроса; - выходные токены (
output/completion): сгенерированный ответ; - кэшированные токены (
cached): повторно используемый вход, если модель поддерживает кэширование; - токены рассуждения (
reasoning): внутренние вычисления модели, когда они отражены в данных использования.
Как использовать данные об использовании
Форма данных об использовании зависит от API. Используйте поля ответа и статистику Gateway как источник измерений; не вычисляйте стоимость по длине строки в браузере.
Лимит API-ключа задаётся в кредитах. Баланс и операции кошелька отображаются в валюте Makura Account, например в рублях.
Практика
- сохраняйте идентификатор запроса рядом с данными использования;
- агрегируйте по точному идентификатору модели и API-ключу;
- не заменяйте отсутствующие измерения выдуманным значением;
- учитывайте повторные запросы и потоковые завершающие события;
- сверяйте стоимость с актуальной политикой каталога.
Подробнее: Использование и оплата.