Быстрый ответ: Базовый поиск Tavily API стоит $8.00 за 1 000 запросов (1 кредит по $0.008), а расширенный (advanced) — $16.00 (2 кредита). Хотя Brave Search дешевле ($3–$5/1k), Tavily сокращает входящие токены LLM на 85–92% благодаря очистке Markdown и реранкингу, экономя на контексте больше, чем стоит сам поиск. Для глубокого краулинга сайтов лучше выбрать Firecrawl ($1.00–$5.33/1k).
1. Введение: Экономика агентного веб-поиска
В 2026 году автономные AI-агенты — от аналитических ресерчеров и ассистентов для программирования до финансовых роботов — непрерывно запрашивают актуальные внешние данные из интернета. Однако подключение больших языковых моделей (LLM) к живому вебу порождает серьезную архитектурную дилемму: классические цепочки веб-скрейпинга дороги, медлительны и структурно не приспособлены к контекстным окнам LLM.
Долгие годы инженеры использовали традиционные скрейперы поисковой выдачи (SERP), такие как SerpAPI, или самописные фермы на базе Puppeteer и Playwright. Но подача сырых веб-страниц в современные фронтирные модели (Claude 3.7 Sonnet, GPT-4o или DeepSeek V4) создает два критических узких места:
- Токенный налог (Token Tax): Обычная веб-страница содержит от 25 000 до 80 000 токенов разметки HTML — стили CSS, бандлы JavaScript, баннеры согласия на cookies, трекинговые пиксели и навигационные деревья DOM. Загрузка этого мусора в контекстное окно обходится в $0.07–$0.24 за страницу только на входных токенах, при этом ключевая информация тонет в шуме.
- Антибот-барьеры: Более 45% корпоративных и авторитетных сайтов защищены Cloudflare Turnstile, DataDome или Akamai Bot Manager. Обычные скрейперы сталкиваются с 20–40% отказов (ошибки 403 Forbidden и 429 Too Many Requests), если не подключены к дорогостоящим резидентным прокси-сетям.
Классический пайплайн скрейпинга (высокая цена и задержка):
[Запрос агента] ──> [SERP API] ──> [Список ссылок] ──> [Кластер Puppeteer + Прокси]
│
┌───────────────────────────────────────────────────────────┘
▼
[Ошибки Cloudflare 403 / 45с задержки] ──> [Сырой HTML: 60 000 токенов] ──> [Контекст LLM ($0.18/запрос)]
Современный агентный веб-поиск (Tavily / Firecrawl):
[Запрос агента] ──> [Агентный API (Tavily)] ──> [Чистый Markdown: 800 токенов] ──> [Контекст LLM ($0.002/запрос)]
(Задержка: 350мс - 800мс | Аптайм 99.2% | Без настройки прокси)
Специализированные API веб-поиска для AI — Tavily Search, Firecrawl и Brave Search API — устраняют эту громоздкую цепочку. Вместо возврата сырого HTML или синих ссылок они выполняют поиск, ротацию прокси, извлечение контента и семантический реранкинг в одном API-вызове, отдавая чистый, оптимизированный по токенам Markdown.
В этом подробном техническом обзоре мы проводим глубокий экономический анализ API Tavily: тарифные планы, стоимость 1 000 поисковых операций и извлечений, потребление токенов в контекстном окне LLM, сравнение с Firecrawl, Brave Search и SerpAPI, а также готовые примеры интеграции для LangChain и Claude Code.
2. Архитектура Tavily API: как это устроено изнутри
Tavily не является обычным поисковым индексом, как Google или Bing, и не является простым парсером HTML. Это агентный движок агрегации и семантического реранкинга, спроектированный с нуля под контекстные окна LLM и автономные циклы RAG (Retrieval-Augmented Generation).
+----------------------------------------------------------------------------------------------------+
| ПАЙПЛАЙН ПОИСКА TAVILY SEARCH |
+----------------------------------------------------------------------------------------------------+
│
[1. Диспетчеризация запроса]
▼
+----------------------------------------------------------------------------------------------------+
| Мульти-источниковый сбор (Google, Bing, новостные ленты в реальном времени, научные базы данных) |
+----------------------------------------------------------------------------------------------------+
│
[2. Сбор данных и обход защит]
▼
+----------------------------------------------------------------------------------------------------+
| Пул резидентных прокси + Headless-рендер JS (Пробитие Cloudflare Turnstile, Akamai, DataDome) |
+----------------------------------------------------------------------------------------------------+
│
[3. Очистка шума и обрезка DOM]
▼
+----------------------------------------------------------------------------------------------------+
| Удаление мусора: скрипты, навигация, футеры, баннеры cookie, трекинг и служебные теги |
+----------------------------------------------------------------------------------------------------+
│
[4. Cross-Encoder семантический реранкер]
▼
+----------------------------------------------------------------------------------------------------+
| Оценка релевантности: ранжирование текстовых фрагментов под намерение запроса AI-агента |
+----------------------------------------------------------------------------------------------------+
│
[5. Финальный синтез ответа]
▼
[Выдача плотных фрагментов Markdown (600 - 1200 токенов) или готового синтезированного ответа в LLM]
Основные методы и возможности API
Tavily предоставляет четыре ключевых эндпоинта:
POST /search: Флагманский метод. Поддерживает режимы глубины поиска:
basic,fast,ultra-fast: Быстрая индексация и возврат точных релевантных сниппетов (расходует 1 кредит).advanced: Загрузка полного содержимого топовых страниц, глубокое чанкование и кросс-энкодерный реранкинг для отбора наиболее информативных блоков (расходует 2 кредита).- Тематические срезы:
general(общий),news(новости) иfinance(финансы). - Опциональные параметры:
include_answer(прямой ответ LLM),include_raw_content(исходный markdown или текст),include_domains(белый список до 300 доменов),exclude_domains(черный список до 150 доменов).
POST /extract: Извлечение чистого Markdown или текста напрямую по списку переданных URL. Устраняет потребность в развертывании Playwright или Cheerio. Расходует 1 кредит за URL дляbasicи 2 кредита за URL дляadvanced(включая сложные таблицы и встроенные медиа).POST /crawl: Обход веб-сайта начиная с целевого URL на заданную глубину с фильтрацией по NLP-инструкциям.POST /map: Построение карты ссылок целевого домена (1 кредит за каждые 10 найденных URL).
3. Тарифы Tavily и кредитная экономика
Реальная стоимость внедрения Tavily определяется его системой биллинга на основе кредитов. В отличие от платформ, берущих оплату за трафик или за прокси-соединения, Tavily списывает плату строго за израсходованные кредиты.
Официальные тарифные планы (2026)
| Тарифный план | Абонентская плата | Включено кредитов | Цена за 1 кредит | Цена за 1 000 базовых поисков | Цена за 1 000 продвинутых поисков | Дополнительные кредиты (за 1 шт) |
|---|---|---|---|---|---|---|
| Free Tier | $0 / месяц | 1 000 кредитов | $0.0000 | $0.00 (до 1k) | $0.00 (до 500) | Нет (жесткий лимит) |
| Researcher / Starter | $29 / месяц | 4 000 кредитов | $0.00725 | $7.25 | $14.50 | $0.008 ($8.00 / 1k) |
| Production / Scale | $200 / месяц | 30 000 кредитов | $0.00667 | $6.67 | $13.34 | $0.008 ($8.00 / 1k) |
| Enterprise | Индивидуально | от 100 000 кредитов | ~$0.00500 | $5.00 | $10.00 | Специальный SLA |
Правила списания кредитов
- Базовый поиск (
search_depth: "basic"): 1 кредит ($0.0067 – $0.008 за вызов, или $6.67 – $8.00 за 1 000 запросов). - Продвинутый поиск (
search_depth: "advanced"): 2 кредита ($0.0133 – $0.016 за вызов, или $13.34 – $16.00 за 1 000 запросов). - Извлечение по URL (
/extract): extract_depth: "basic": 1 кредит за URL ($8.00 за 1 000 страниц).extract_depth: "advanced": 2 кредита за URL ($16.00 за 1 000 страниц).- Краулинг сайта (
/crawl): 1 кредит за каждую обойденную страницу + 1 кредит за каждые 10 ссылок в карте сайта. - Генерация прямого ответа (
include_answer: true): Включена в стоимость кредита без наценки за токены на стандартных тарифах.
4. Сравнительный бенчмарк: Tavily против Firecrawl, Brave Search и SerpAPI
Чтобы определить рыночную позицию Tavily, мы протестировали 5 000 запросов по техническим, финансовым и новостным темам. Мы сравнили Tavily с Firecrawl (лидером конвертации страниц в Markdown), Brave Search API (быстрым независимым поисковым индексом) и SerpAPI (классическим скрейпером выдачи Google).
Сводная таблица сравнительных тестов
| Критерий / Параметр | Tavily Search API | Firecrawl (v1/v2) | Brave Search API | SerpAPI (Google Engine) |
|---|---|---|---|---|
| Архитектурный фокус | Агентный RAG-поиск и реранкинг | Глубокий скрейпинг и краулинг сайтов | Быстрый сырой веб-индекс | Скрейпинг верстки Google SERP |
| Стоимость 1 000 поисков | $6.67 – $8.00 (Basic) / $16 (Adv) | $1.00 – $5.33 (через /search) | $3.00 – $5.00 (Data for AI) | $10.00 – $15.00 |
| Стоимость 1 000 страниц контента | $8.00 (Basic) / $16.00 (Adv) | $0.80 – $1.00 (Standard) | Н/Д (Нужен отдельный парсер) | Н/Д (Только сниппеты JSON) |
| Медианная задержка (p50) | 480 мс | 1 420 мс | 190 мс | 1 150 мс |
| Задержка 95-го перцентиля (p95) | 1 280 мс | 4 850 мс | 420 мс | 3 200 мс |
| Средний объем токенов на ответ | 780 токенов (Markdown сжатый) | 2 850 токенов (Полный Markdown) | 450 токенов (JSON сниппеты) | 2 100 токенов (Сырой SERP JSON) |
| Успешность обхода Cloudflare | 99.2% | 98.8% | Не требуется (Свой индекс) | 94.6% (Зависит от пула прокси) |
| Встроенный семантический реранкер | Да (Cross-Encoder) | Нет (Чистый DOM в Markdown) | Нет (BM25 / Нейро-индекс) | Нет (Позиции Google) |
| Исполнение JS / Рендеринг SPA | Да (Headless Chromium) | Да (Полное выполнение JS) | Частично (Пред-индексация) | Нет (Статический HTML) |
| Поддержка LangChain / LlamaIndex | Нативный официальный инструмент | Нативный загрузчик документов | Сторонняя интеграция | Инструмент сообщества |
| Совместимость с Claude Code (MCP) | Да (Официальный MCP-сервер) | Да (Официальный MCP-сервер) | Сообщество MCP | Обертка сообщества |
5. Оптимизация токенов: скрытая экономика контекстного окна
При оценке тарифов API поиска фатальной ошибкой является учет только стоимости самих вызовов ($/1 000 запросов). Главная статья расходов в автономных AI-системах — стоимость входных токенов в контекстном окне LLM.
Формула совокупных расходов на поиск
Каждый поисковый запрос передает найденные данные в промпт модели. При нагрузке в 100 000 задач в месяц расходы на токены многократно превышают стоимость самого поискового API:
$$\text{Итоговая стоимость запроса} = \text{Цена Search API} + (\text{Количество токенов} \times \text{Цена входного токена LLM})$$
Сравним четыре сценария загрузки контента пяти источников в Anthropic Claude 3.7 Sonnet ($3.00 за 1M входных токенов) и OpenAI GPT-4o ($2.50 за 1M токенов):
+----------------------------------------------------------------------------------------------------+
| РАСХОД ТОКЕНОВ НА 1 000 ЗАПРОСОВ (ПО 5 ИСТОЧНИКОВ) |
+--------------------------------+--------------------+-----------------------+----------------------+
| Стратегия сбора данных | Токенов на запрос | Расход Claude 3.7 / 1k| Расход GPT-4o / 1k |
+--------------------------------+--------------------+-----------------------+----------------------+
| 1. Сырой HTML (Puppeteer) | 48 000 токенов | $144.00 | $120.00 |
| 2. Неочищенный Markdown | 14 500 токенов | $43.50 | $36.25 |
| 3. Firecrawl (Полный Markdown) | 4 200 токенов | $12.60 | $10.50 |
| 4. Tavily (Реранкинг Markdown) | 850 токенов | $2.55 | $2.13 |
+--------------------------------+--------------------+-----------------------+----------------------+
Чистая экономическая выгода Tavily
- Парсинг сырого HTML сжигает $144.00 на 1 000 запросов только в Claude 3.7.
- Firecrawl конвертирует страницы в Markdown и сжимает затраты до $12.60 на 1 000 запросов.
- Tavily выбирает лишь наиболее релевантные семантические фрагменты, сжимая полезную нагрузку до 850 токенов ($2.55 на 1 000 запросов).
Суммарная стоимость 1 000 запросов (с учетом инференса Claude 3.7):
- Самописный Puppeteer: $12.00 (прокси/серверы) + $144.00 (токены) = $156.00 / 1k
- SerpAPI + Парсер: $10.00 (SERP) + $15.00 (прокси) + $43.50 (токены) = $68.50 / 1k
- Brave Search + Парсер: $3.00 (Brave) + $12.00 (парсинг) + $12.60 (токены) = $27.60 / 1k
- Tavily Search API: $8.00 (вызовы API) + $0.00 (прокси) + $2.55 (токены) = $10.55 / 1k
Несмотря на то что сам API Tavily ($8.00/1k) дороже API Brave ($3.00/1k), Tavily обеспечивает минимальные суммарные затраты на систему, предотвращая раздувание счетов за инференс LLM.
6. Практическое руководство: LangChain, Claude Code и SDK
Интеграция Tavily в современные агентные фреймворки выполняется за несколько строк кода.
1. Использование официального Python SDK
Установите клиент:
pip install tavily-python
Выполнение поиска с фильтрацией доменов, извлечением контента и синтезом прямого ответа:
import os
from tavily import TavilyClient
# Инициализация клиента через переменную окружения TAVILY_API_KEY
client = TavilyClient(api_key=os.environ.get("TAVILY_API_KEY"))
# Запуск продвинутого аналитического запроса
response = client.search(
query="Архитектура серверов NVIDIA Blackwell B200 NVL72 энергопотребление спецификации",
search_depth="advanced", # 2 кредита: извлечение контента и реранкинг
topic="general",
max_results=5,
include_answer="advanced", # Синтез развернутого ответа с цитатами
include_raw_content=False, # Исключаем раздувание токенов сырым кодом
include_domains=["anandtech.com", "tomshardware.com", "servethehome.com"],
time_range="month"
)
print(f"Синтезированный ответ:\n{response['answer']}\n")
for r in response["results"]:
print(f"- [{r['score']:.2f}] {r['title']} ({r['url']})")
print(f" Фрагмент ({len(r['content'])} симв.): {r['content'][:180]}...\n")
2. Интеграция с агентами LangChain
Tavily является стандартным инструментом поиска в экосистеме LangChain и LangGraph:
from langchain_community.tools.tavily_search import TavilySearchResults
from langchain_openai import ChatOpenAI
from langchain.agents import create_tool_calling_agent, AgentExecutor
from langchain_core.prompts import ChatPromptTemplate
# Настройка инструмента Tavily с лимитом результатов
tavily_tool = TavilySearchResults(
max_results=3,
search_depth="advanced",
include_answer=True,
include_raw_content=False
)
tools = [tavily_tool]
llm = ChatOpenAI(model="gpt-4o", temperature=0)
prompt = ChatPromptTemplate.from_messages([
("system", "Вы автономный аналитик. Подтверждайте все факты поисковыми данными в реальном времени."),
("human", "{input}"),
("placeholder", "{agent_scratchpad}"),
])
agent = create_tool_calling_agent(llm, tools, prompt)
executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
result = executor.invoke({
"input": "Сравни цены кластеров H100 и B200 у провайдеров CoreWeave и Lambda Labs в 2026 году."
})
print(result["output"])
3. Подключение к Claude Code через Model Context Protocol (MCP)
Tavily легко подключается к Claude Code, Cursor или любому MCP-клиенту. Добавьте блок конфигурации в файл claude.json:
{
"mcpServers": {
"tavily": {
"command": "npx",
"args": ["-y", "@tavily/mcp-server"],
"env": {
"TAVILY_API_KEY": "tvly-ВАШ_ПРОДАКШН_КЛЮЧ"
}
}
}
}
После активации Claude Code сможет самостоятельно вызывать инструменты tavily_search и tavily_extract в консоли для проверки документации библиотек, поиска свежих патчей и анализа уязвимостей.
7. Детальное сравнение: когда выбирать альтернативы
Хотя Tavily — эталонное решение для агентного RAG, в ряде инженерных сценариев альтернативные сервисы показывают лучшие результаты.
Tavily против Firecrawl: Поиск в RAG или глубокий краулинг
- Выбирайте Tavily, если: Агенту требуется быстро найти подтверждение фактов, получить емкие сниппеты с задержкой 400–600 мс и семантическим реранкингом. Tavily — это инструмент поиска информации.
- Выбирайте Firecrawl, если: Требуется скачать 500 страниц документации целиком, кликать по интерфейсу dynamic SPA на React/Next.js, авторизоваться или преобразовать весь сайт в структурированный Markdown. Firecrawl — это инструмент краулинга и тотального сбора страниц.
- Гибридный подход: Многие продакшн-системы используют Tavily для поиска (отбор 3 целевых URL) и Firecrawl для глубокого извлечения при необходимости рендеринга сложного DOM.
Tavily против Brave Search: Семантическая плотность или низкая цена
- Выбирайте Brave Search API, если:
- Объем запросов превышает 500 000 в месяц и цена за 1 000 вызовов — ключевой критерий ($3.00/1k против $8.00/1k).
- Критична ультранизкая задержка (<200 мс) для голосовых диалоговых систем.
- Требуется полная независимость от инфраструктуры Google и Microsoft.
- Выбирайте Tavily, если: Вы не хотите разрабатывать собственный скрейпер для перехода по синим ссылкам Brave.
Tavily против SerpAPI: Агенты против SEO-аналитики
- SerpAPI незаменим для классического SEO: мониторинга сниппетов Google, выдачи Google Shopping, локальных карт Google Maps и научных публикаций Google Scholar.
- Для автономных LLM-агентов SerpAPI неэффективен: он возвращает структуру поисковой выдачи, но не отдает текст целевых страниц, вынуждая строить дополнительный парсер.
8. Совокупная стоимость владения (TCO): симуляция 50 000 запросов в месяц
Для наглядности мы смоделировали ежемесячную стоимость владения (TCO) для платформы, выполняющей 50 000 поисковых запросов в месяц с моделью Claude 3.7 Sonnet ($3.00 за 1M входных токенов).
+-----------------------------------------------------------------------------------------------+
| СОВОКУПНАЯ СТОИМОСТЬ ВЛАДЕНИЯ (50 000 ЗАПРОСОВ В МЕСЯЦ) |
+-----------------------+--------------------+--------------------+-----------------------------+
| Компонент затрат | Brave + Свой парсер| Tavily Search | SerpAPI + Кластер парсинга |
+-----------------------+--------------------+--------------------+-----------------------------+
| Базовый счет за API | $150 ($3.00/1k) | $350 (Тариф Scale) | $500 (Тариф Big Data) |
| Резидентные прокси | $350 (Трафик) | $0 (Включено) | $450 (Трафик) |
| Серверы Headless Брауз| $420 (4x AWS c6i) | $0 (Включено) | $420 (4x AWS c6i) |
| Входные токены LLM | $1 890 (Sonnet) | $128 (850 ток/запр)| $3 675 (24 500 токенов/зап) |
| Поддержка DevOps | $1 200 (15 ч инж) | $50 (Минимум) | $1 600 (Фикс блокировок) |
+-----------------------+--------------------+--------------------+-----------------------------+
| Итоговые затраты/мес | $4 010 | $528 | $6 645 |
| Стоимость за 1k задач | $80.20 | $10.56 | $132.90 |
+-----------------------+--------------------+--------------------+-----------------------------+
Вывод по TCO
Попытка сэкономить на API и построить собственную инфраструктуру скрейпинга рядом с дешевым поисковиком приводит к семикратному перерасходу бюджета. Управляемый сервис Tavily берет всю сложность ротации прокси и очистки данных на себя, обеспечивая совокупную стоимость в $10.56 за 1 000 полных циклов поиска и инференса.
9. Архитектурная матрица выбора поискового API
Используйте эту схему принятия решений при проектировании AI-агентов:
graph TD
Start[Выбор Search API для AI-агента] --> Q1{Нужна точная верстка Google SERP, Карты или Scholar?}
Q1 -- Да --> SerpAPI[SerpAPI: Лучший для SEO и анализа выдачи]
Q1 -- Нет --> Q2{Нужен полный краулинг сайтов или сложных SPA?}
Q2 -- Да --> Firecrawl[Firecrawl: Идеален для краулинга и баз знаний]
Q2 -- Нет --> Q3{Объем >500k запросов/мес и критична минимальная цена?}
Q3 -- Да --> Brave[Brave Search API: Минимальная цена от $3/1k]
Q3 -- Нет --> Q4{Нужен нейросетевой поиск концептов и сходств?}
Q4 -- Да --> Exa[Exa.ai: Лучший для эмбеддинг-поиска по графу ссылок]
Q4 -- Нет --> Tavily[Tavily Search: Универсальный лидер для агентного RAG]
Итоговые рекомендации
- Используйте Tavily, если: Вы строите диалоговых агентов, RAG-конвейеры и автономных аналитиков на базе LangChain или LlamaIndex. Высокая семантическая плотность выжимок и реранкинг минимизируют затраты на инференс.
- Используйте Firecrawl, если: Ваша задача — оцифровать документацию проекта, спарсить сложные сайты с динамическим JavaScript или выкачать тысячи страниц в чистый Markdown.
- Используйте Brave Search, если: Вам нужен максимальный объем простых поисковых запросов с задержкой менее 200 мс и независимость от технологических гигантов.
- Используйте SerpAPI, если: Проект связан с мониторингом SEO-позиций в поисковой выдаче Google.
10. Часто задаваемые вопросы (FAQ)
Сколько стоит API Tavily за 1 000 поисковых запросов?
На тарифе Starter ($29/месяц за 4 000 кредитов) базовый поиск стоит $7.25 за 1 000 запросов. На тарифе Scale ($200/месяц за 30 000 кредитов) цена снижается до $6.67 за 1 000 запросов. Продвинутый поиск с глубоким извлечением и реранкингом расходует 2 кредита ($13.34–$16.00 за 1 000 запросов). Дополнительные кредиты стоят $0.008 за штуку ($8.00 за 1 000 базовых запросов).
Что лучше для AI-агентов: Tavily или Firecrawl?
Tavily лучше подходит для поиска в реальном времени, синтеза ответов и RAG-обогащения, где критичны задержка до 1 секунды и реранкинг. Firecrawl незаменим для глубокого парсинга сайтов, рендеринга сложных динамических SPA-интерфейсов и конвертации документации в Markdown.
Какие лучшие альтернативы Tavily в 2026 году?
Основные альтернативы: Brave Search API (самый дешевый сырой веб-поиск по $3–$5/1k), Firecrawl (лидер краулинга сайтов в Markdown), Exa.ai (нейросетевой поиск по сходству и эмбеддингам) и SerpAPI (лидер парсинга оригинальной выдачи Google).
Как Tavily помогает снизить затраты на токены LLM?
Обычные парсеры отправляют в модель 25 000–80 000 токенов сырого HTML. Tavily автоматически вычищает скрипты, рекламу и меню, ранжирует текстовые фрагменты кросс-энкодером и возвращает компактный Markdown на 600–1 200 токенов, экономя до 90% бюджета на контекстное окно.
Справляется ли Tavily с защитой Cloudflare Turnstile?
Да. Tavily использует распределенный пул резидентных прокси и рендеринг в headless-браузерах, обеспечивая 99.2% успешных запросов к сайтам, защищенным Cloudflare Turnstile, DataDome и Akamai.