Интеллектуальная маршрутизация запросов Amazon Bedrock

Разработчикам может быть сложно понять, какие запросы требуют более совершенных моделей, а какие смогут работать с более быстрыми и дешевыми моделями меньшего размера. Используя передовые методы сопоставления текстовых запросов и понимания моделей, функция интеллектуальной маршрутизации запросов прогнозирует производительность каждой модели по каждому запросу и динамически маршрутизирует каждый запрос в модель, которая, согласно прогнозам, с наибольшей вероятностью даст желаемый ответ при наименьших затратах. В ознакомительном режиме можно выбрать один из двух маршрутизаторов текстовых запросов, которые маршрутизируют запросы между моделями Claude Sonnet 3.5 и Claude Haiku или между Llama 3.1 7B и Llama 3.1 80B.

Для достижения требуемой производительности в разрезе требований к точности и стоимости приложений часто приходится разрабатывать сложные рабочие процессы оркестрации, перенаправляя каждый запрос в модель, наиболее подходящую для этого запроса на основе вашего опыта. С помощью интеллектуальной маршрутизации запросов можно сэкономить месяцы усилий на тестировании различных моделей и создании сложных рабочих процессов оркестрации.

Каждый запрос полностью отслеживается, что позволяет определить, какая модель его обрабатывает, а также упрощает анализ и отладку любых проблем.

В ознакомительном режиме с клиентов взимается обычная плата по запросу за те модели, в которые маршрутизируются запросы. Подробные расценки разных поставщиков моделей см. на нашей странице цен.