Provider installieren und konfigurieren
Das Vercel AI SDK kann einen OpenAI-kompatiblen Provider verwenden. Konfigurieren Sie die CometAPI-Basis-URL einmalig und speichern Sie den API-Schlüssel in einer serverseitigen Umgebungsvariablen.
import { createOpenAI } from '@ai-sdk/openai';
export const cometapi = createOpenAI({
apiKey: process.env.COMETAPI_KEY,
baseURL: 'https://api.cometapi.com/v1',
});Eine Streaming-Chat-Route erstellen
Wählen Sie das Modell auf dem Server aus einer Allowlist aus. Dadurch wird verhindert, dass Clients ein unerwartet teures Modell auswählen, während die Flexibilität mehrerer Modelle erhalten bleibt.
import { streamText } from 'ai';
import { cometapi } from '@/lib/cometapi';
const allowedModels = {
fast: 'your-fast-model-id',
quality: 'your-quality-model-id',
};
export async function POST(request: Request) {
const { messages, route = 'fast' } = await request.json();
const modelId = allowedModels[route as keyof typeof allowedModels];
const result = streamText({
model: cometapi(modelId),
messages,
});
return result.toDataStreamResponse();
}Modelle nach Workload wechseln
Verwenden Sie die schnellere Route für dialogorientierte Eingaben und die Qualitätsroute für komplexe Analysen, umfangreiche Codeänderungen oder hochwertige Reviews. Sorgen Sie dafür, dass die Routing-Logik observierbar bleibt, damit Kosten und Qualität später verglichen werden können.
- Routen Sie anhand eines expliziten Produktmodus, bevor Sie eine automatische Klassifizierung versuchen.
- Erfassen Sie die ausgewählte Route, die Modell-ID, die Tokenanzahl, die Latenz und das Ergebnis der Anfrage.
- Wenden Sie Ausgabenlimits auf Konto- und Anfrageebene an.
Checkliste für den Produktionseinsatz
Fügen Sie vor dem Start eine Schema-Validierung, eine Behandlung von Timeouts, Wiederholungsversuche bei vorübergehenden Fehlern und eine kompatible Fallback-Route hinzu. Geben Sie den API-Schlüssel des Upstream-Dienstes niemals in Browser-Code preis.