Prompt management: Prompty jako kód

Proč prompty nepatří do kódu

V prototypu máte prompt jako string v kódu. V produkci se prompt mění 10x častěji než okolní logika. Každá změna promptu vyžaduje deploy, code review a build pipeline. To je zbytečná brzda. Prompty potřebují vlastní lifecycle — verzování, testování, rollback — nezávisle na kódu aplikace.

Prompt management má tři úrovně zralosti. Level 1: prompty v kódu jako template strings. Level 2: prompty ve vlastních souborech s proměnnými a verzováním přes git. Level 3: prompt registry — centrální služba, která servíruje prompty přes API, umožňuje A/B testing a sleduje metriky kvality na každou verzi.

Prompt jako šablona s proměnnými

Každý produkční prompt je šablona. Obsahuje statickou část (instrukce, formát, omezení) a dynamické proměnné (uživatelský vstup, kontext, few-shot příklady). Oddělte je explicitně. Použijte Mustache, Handlebars, nebo prostý string interpolation — ale mějte jasný kontrakt, jaké proměnné prompt očekává.

// prompts/summarize.v2.yaml
// name: summarize
// version: 2
// variables: [document, max_length, language]
// model: claude-sonnet-4-20250514

const promptTemplate = `
Summarize the following document in {{language}}.
Maximum length: {{max_length}} words.
Focus on actionable insights, skip background.

Document:
{{document}}

Output format: bullet points, each starting with a verb.
`;

function renderPrompt(
  template: string,
  vars: Record<string, string>
): string {
  return template.replace(
    /\{\{(\w+)\}\}/g,
    (_, key) => vars[key] ?? ''
  );
}

Verzování a rollback

Každá verze promptu by měla být immutable. Verze 2 nikdy nepřepíše verzi 1 — obě existují paralelně. Nová verze se nejdřív nasadí na canary traffic (5-10 % requestů), porovná se kvalita oproti baseline, a teprve pak se stane defaultem. Pokud nová verze degraduje, rollback je otázka jednoho konfiguračního přepnutí.

Nejjednodušší implementace: prompty v YAML souborech v git repozitáři, s verzí v názvu souboru (summarize.v1.yaml, summarize.v2.yaml). Konfigurace říká, která verze je aktivní. Složitější setup: prompt registry jako microservice s REST API, databází verzí a webhooky pro deployment.

// Simple file-based prompt registry
interface PromptVersion {
  name: string;
  version: number;
  template: string;
  model: string;
  variables: string[];
  metadata: { author: string; changedAt: string; reason: string };
}

class PromptRegistry {
  private prompts = new Map<string, PromptVersion[]>();

  getActive(name: string): PromptVersion {
    const versions = this.prompts.get(name);
    if (!versions?.length) throw new Error(`Prompt '${name}' not found`);
    return versions[versions.length - 1];
  }

  getVersion(name: string, version: number): PromptVersion {
    const v = this.prompts.get(name)?.find(p => p.version === version);
    if (!v) throw new Error(`Prompt '${name}' v${version} not found`);
    return v;
  }
}

A/B testování promptů

Změna jednoho slova v promptu může změnit kvalitu výstupu o 20 %. Bez A/B testování to nezjistíte. Základní setup: přiřaďte každý request náhodně k variantě (A = aktuální verze, B = kandidát), logujte variantu spolu s výstupem, a po dostatečném vzorku porovnejte metriky.

Metriky závisí na use case: pro sumarizaci měřte délku, pokrytí klíčových bodů a uživatelský rating. Pro klasifikaci měřte accuracy a F1 skóre. Pro generování kódu měřte, zda se kód zkompiluje a projdou testy. Vždy mějte alespoň jednu automatickou metriku a jednu lidskou.

// A/B test assignment
function assignVariant(
  userId: string,
  testName: string,
  variants: string[],
  weights?: number[]
): string {
  // Deterministic assignment based on user+test hash
  const hash = createHash('sha256')
    .update(`${userId}:${testName}`)
    .digest();
  const bucket = hash.readUInt32BE(0) % 100;

  const w = weights ?? variants.map(() => 100 / variants.length);
  let cumulative = 0;
  for (let i = 0; i < variants.length; i++) {
    cumulative += w[i];
    if (bucket < cumulative) return variants[i];
  }
  return variants[variants.length - 1];
}

Prompt composition a chain-of-thought

Složité tasky vyžadují kompozici promptů — rozložení problému na kroky, kde výstup jednoho promptu je vstupem dalšího. Klasický vzor: první prompt extrahuje relevantní informace z dokumentu, druhý je analyzuje, třetí generuje výstup. Každý krok má vlastní prompt s vlastním verzováním.

Chain-of-thought (CoT) v produkci není jen 'think step by step'. Je to strukturovaný formát, kde model nejdřív vygeneruje reasoning (který logujete, ale nezobrazujete uživateli), a pak finální odpověď. CoT zlepšuje kvalitu u analytických úloh o 10-30 %, ale zvyšuje token count a latenci.