Как получить от LLM ответ в строгом формате, например JSON?

Когда ответ модели читает программа, свободный текст не подходит. Способы, от надёжного к простому:

1. Структурированный вывод по схеме. Многие API позволяют передать JSON-схему, и модель гарантированно возвращает валидный по ней JSON (декодирование ограничивается допустимыми токенами).
2. Вызов функций (tool calling). Описываем «функцию» с параметрами — модель возвращает аргументы в виде JSON.
3. Только промпт. Схема и пример в промпте, просьба вернуть только JSON без пояснений, низкая температура. Ответ разбираем и при ошибке повторяем запрос, добавив текст ошибки.

Что ещё важно:

• валидация в коде — типы, обязательные поля, допустимые значения (например, pydantic); схема не гарантирует, что значения верны;
• поле для отсутствия — разрешить null или "unknown", иначе модель выдумает значение, лишь бы заполнить обязательное поле;
• плоские и простые схемы работают надёжнее глубоко вложенных;
• перечисления (enum) вместо свободного текста для категорий.

from pydantic import BaseModel

class Lead(BaseModel):
    name: str | None
    company: str | None
    budget_rub: int | None
    intent: str  # "buy" | "research" | "unknown"

# raw — JSON от модели, полученный в режиме structured output по Lead.model_json_schema()
lead = Lead.model_validate_json(raw)   # ошибка формата → повторный запрос