Guía de integración de LiteLLM

Contenido actualizado: 2026-10-24

Application → LiteLLM Proxy → Crazyrouter → Model

​

Arquitectura de integración y preparación

​

1. Instalación y variables de entorno

python3 -m venv .venv
source .venv/bin/activate
python -m pip install "litellm[proxy]==1.106.2"
read -rsp 'Crazyrouter API key: ' CRAZYROUTER_API_KEY; echo
export CRAZYROUTER_API_KEY
export LITELLM_MASTER_KEY="$(python -c 'import secrets; print("sk-" + secrets.token_hex(32))')"

py -3.11 -m venv .venv
.\.venv\Scripts\Activate.ps1
python -m pip install "litellm[proxy]==1.106.2"
$secret = Read-Host 'Crazyrouter API key' -AsSecureString
$env:CRAZYROUTER_API_KEY = [System.Net.NetworkCredential]::new('', $secret).Password
$env:LITELLM_MASTER_KEY = python -c "import secrets; print('sk-' + secrets.token_hex(32))"

​

2. Exportar configuración e iniciar el servicio

import json
import os
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.parse import urlencode
from urllib.request import HTTPRedirectHandler, Request, build_opener


class NoRedirect(HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None


key = os.environ["CRAZYROUTER_API_KEY"]
if not key:
    raise SystemExit("CRAZYROUTER_API_KEY is empty")
query = urlencode({
    "provider": "openai",
    "models": "claude-opus-5-5,gpt-6-astra,glm-5.3,deepseek-v4.1-flash",
})
request = Request(
    "https://api.crazyrouter.com/v1/litellm/config?" + query,
    headers={"Authorization": "Bearer " + key,
             "User-Agent": "Crazyrouter-LiteLLM-Setup/1.0"},
)
try:
    with build_opener(NoRedirect).open(request, timeout=30) as response:
        payload = json.load(response)
except HTTPError as error:
    raise SystemExit(f"Export failed (HTTP {error.code}); no file written.")
except URLError:
    raise SystemExit("Export connection failed; no file written.")

config = payload["config"]
if not config.get("model_list"):
    raise SystemExit("Export contains no models")
config.setdefault("litellm_settings", {})["drop_params"] = False
config.setdefault("general_settings", {})["master_key"] = "os.environ/LITELLM_MASTER_KEY"
output = json.dumps(config, ensure_ascii=False, indent=2)
if key in output:
    raise SystemExit("Refusing to write a secret")
with Path("crazyrouter.config.json").open("x", encoding="utf-8") as handle:
    handle.write(output + "\n")
print("Saved configuration. Import/reload it in LiteLLM explicitly.")

python export_config.py
litellm --config ./crazyrouter.config.json --host 127.0.0.1 --port 4100

​

3. Verificar el gateway local

import json
import os
from urllib.request import Request, urlopen

base = "http://127.0.0.1:4100/v1"
headers = {"Authorization": "Bearer " + os.environ["LITELLM_MASTER_KEY"],
           "Content-Type": "application/json"}

with urlopen(Request(base + "/models", headers=headers), timeout=30) as response:
    models = json.load(response)["data"]
assert any(model["id"] == "gpt-6-astra" for model in models), "Model not registered"

body = {"model": "gpt-6-astra", "max_tokens": 1024,
        "messages": [{"role": "user", "content": "Reply with exactly OK."}]}
with urlopen(Request(base + "/chat/completions", headers=headers,
                     data=json.dumps(body).encode()), timeout=120) as response:
    result = json.load(response)
choice = result["choices"][0]
assert choice["finish_reason"] == "stop", "Incomplete response"
assert (choice["message"].get("content") or "").strip() == "OK", "Check final answer"
assert result.get("usage", {}).get("total_tokens", 0) > 0, "Missing usage"
print("PASS: model registration, final answer, finish reason, usage")

python verify_proxy.py

​

4. Protocolo nativo Claude (opcional)

model_list:
  - model_name: claude-native
    litellm_params:
      model: anthropic/claude-opus-5-5
      api_base: https://api.crazyrouter.com
      api_key: os.environ/CRAZYROUTER_API_KEY
litellm_settings:
  drop_params: false
general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

​

Compatibilidad y manejo de errores

• Mantén drop_params: false y no omitas silenciosamente parámetros no soportados.
• Se ha verificado el json_schema de Claude; json_object no es compatible y no se convertirá automáticamente en otro tipo de salida.
• En las rutas de Claude actualmente probadas, si se fuerzan herramientas o solicitudes required, serán rechazadas explícitamente: HTTP 400, error directo unsupported_forced_tool_choice. Si necesitas selección automática de herramientas, tu cliente debe cambiar explícitamente a tool_choice: "auto"; el gateway no hará el downgrade automáticamente.
• Ante esos rechazos, el cliente recibirá una explicación estándar en inglés sin exponer configuraciones internas ni credenciales. La versión 1.106.2 del adaptador OpenAI de LiteLLM mantiene los mensajes en inglés, pero envuelve el código de error en "400"; no te bases solo en el código original.
• El cache_control de Claude permite pasar el 5m / TTL de 1h; se verificó creación y lectura de 5m, 1h solo se probó en escritura y no se garantiza tasa de acierto o lectura pasada una hora.
• Capacidades de modelo, disponibilidad, visión, contexto largo, failover y presupuesto empresarial deben ser validados por separado; no te fíes solo del nombre del modelo ni de este documento de integración.

​

Equipos, presupuesto y seguridad en producción

• Crea equipos en LiteLLM y llaves virtuales restringidas por proyecto o departamento, estableciendo permisos de modelo, presupuesto y límites de velocidad; nunca compartas la clave principal.
• Configura base de datos, autenticación, permisos y persistencia según las directrices oficiales de LiteLLM. Ejecutar localmente sin base de datos solo verifica la inferencia, el presupuesto real no se aplicará; confía en las características y requisitos del release que usas.
• Antes de lanzar, prueba la denegación por acceso indebido de modelos, agotamiento de presupuesto, revocación de claves, limitación y auditoría. Protege prompts e información personal en logs y define plazos claros de retención.
• Habilita HTTPS y control de acceso para conexiones externas; nunca expongas directamente el servicio de demostración local o la administración.
• Los precios exportados son instantáneas. Ante cambios de precio o descuento, vuelve a exportar, importar y recargar; no es automático. La estimación de costes por LiteLLM no equivale al valor final de la factura de Crazyrouter; revisa periódicamente.

​

Preguntas frecuentes

​

Referencia oficial

• Configuración del proxy de LiteLLM
• Llaves virtuales de LiteLLM
• Presupuestos de LiteLLM