O citare într-un răspuns Claude poate fi utilă ca observație, dar nu dovedește că o pagină este preferată stabil, că mesajul comercial este înțeles corect sau că o modificare editorială a produs efectul. Pentru B2B SaaS, un test serios trebuie să separe trei lucruri: apariția unei citări, sursa citată și acuratețea afirmației despre produs. Abia după ce aceste trei straturi sunt măsurate separat merită discutată atribuirea.
Experimentul de mai jos este construit pentru echipe care au documentație, pagini de produs, comparații și materiale tehnice distribuite în mai multe locuri. Nu presupune acces la un metric oficial de "citation share" și nu inventează unul. Lucrează cu răspunsuri salvate, URL-uri observate și un jurnal al schimbărilor de conținut.
1. Pornește de la întrebările reale din buying journey
Setul de prompturi trebuie să reflecte felul în care un cumpărător B2B investighează o soluție. Întrebările de problem discovery sunt diferite de cele despre integrare, securitate, migrare sau comparații cu un competitor. Dacă le amesteci, o schimbare de citare poate proveni din distribuția intențiilor, nu din intervenția pe site.
Construiește familii de prompturi. De exemplu: "ce soluții rezolvă problema X", "cum se integrează produsul Y cu Z", "ce opțiuni există pentru cerința de securitate A" și "care sunt diferențele dintre Y și un produs alternativ". Păstrează formularea exactă, limba și data. Dacă faci parafraze, tratează-le ca observații noi, nu ca duplicate ale aceleiași întrebări.
2. Alege un control care chiar poate funcționa ca martor
Controlul nu trebuie să fie o pagină aleasă la întâmplare. Ideal, folosești o familie de documente cu intenție apropiată, dar pe care nu aplici schimbarea editorială testată. Dacă intervenția vizează clarificarea documentației de integrare, păstrează un set comparabil de pagini tehnice neschimbate.
În B2B SaaS, produsul se schimbă des. Notează release-urile, actualizările de API, modificările de pricing și schimbările de navigație. Un nou feature lansat în mijlocul testului poate crea noi surse sau poate schimba ce spun paginile existente. Fără acest jurnal, vei atribui ușor efectul către tactica editorială greșită.
3. Salvează răspunsul complet, nu doar domeniul citat
Pentru fiecare rulare păstrează răspunsul, ordinea citărilor, URL-urile și propoziția sau pasajul pe care citarea pare să îl susțină. Acest detaliu este important: o pagină poate fi citată, dar răspunsul poate descrie greșit produsul. Invers, o afirmație corectă poate proveni dintr-o sursă terță, nu din documentația companiei.
În jurnal, separă cel puțin patru stări: domeniul propriu nu apare, domeniul propriu apare fără a susține afirmația principală, domeniul propriu apare și susține corect afirmația, iar o sursă terță descrie produsul. Nu transforma aceste stări într-un singur scor până nu ai motiv metodologic clar.
4. Schimbă o singură familie de pagini
Dacă modifici simultan pagina de produs, documentația, schema, internal linking, pagina de pricing și pagina de comparație, experimentul devine imposibil de interpretat. Alege o intervenție îngustă: de exemplu, clarificarea structurii documentației de integrare sau adăugarea unei secțiuni care explică limitările unei funcții.
Intervenția trebuie notată înainte de publicare: ce text se schimbă, ce URL-uri intră în tratament, ce rămâne control și de ce. Dacă apare o eroare de conținut sau un regres tehnic, definește rollback-ul înainte de lansare. Un experiment bun este reversibil.
5. Nu cere rezultat imediat
Citările observate pot varia între rulări, iar starea indexării sau a surselor disponibile se poate schimba. O apariție în aceeași zi cu modificarea nu demonstrează efectul modificării. Folosește o fereastră de observație suficientă pentru mai multe rulări și păstrează aceeași disciplină de colectare.
Nu compensa incertitudinea prin volum de prompturi fără control. Mai util este un set stabil, executat în mai multe momente, cu un jurnal bun. Dacă schimbi și setul de întrebări, și documentația, nu mai poți spune ce s-a schimbat de fapt.
6. Evaluează separat corectitudinea descrierii produsului
Pentru un cumpărător B2B, o citare este valoroasă doar dacă informația rezultată este utilă și corectă. Verifică afirmațiile despre integrare, securitate, disponibilitate, limite de plan și compatibilitate la sursa primară. Dacă răspunsul atribuie produsului o funcție inexistentă, tratează cazul ca problemă de factualitate chiar dacă domeniul companiei este citat.
Această separare previne o eroare frecventă: considerarea oricărei citări drept rezultat pozitiv. Un experiment GEO nu trebuie să optimizeze apariția unei surse cu prețul unei descrieri mai puțin precise.
7. Controlează release-urile și distribuția externă
În B2B SaaS, informația trăiește și în marketplace-uri, pagini de parteneri, repo-uri publice, changelog-uri și site-uri de review. Dacă un partener publică simultan un tutorial nou, acesta poate deveni o sursă relevantă independent de modificarea testată pe site.
Include în change log evenimentele externe importante: lansări, webinaruri, campanii, comunicate, integrarea într-un marketplace și actualizări de documentație la parteneri. Nu ai nevoie de o listă perfectă, dar ai nevoie de suficiente informații încât să identifici confounderii evidenți.
8. Definește criteriul de replicare înainte de verdict
Un prim rezultat poate fi interesant, dar nu este suficient pentru generalizare. Repetă setul de prompturi într-o fereastră ulterioară și, dacă este posibil, pe o familie de documente similară. Criteriul de replicare trebuie scris înainte: de exemplu, aceeași direcție a schimbării pentru citarea documentației și absența unei degradări de factualitate.
Dacă rezultatul nu se replică, nu îl ascunde. Compară condițiile celor două runde. Poate că release-ul produsului a schimbat contextul, poate că sursa terță a devenit mai relevantă, poate că intervenția nu a fost suficient de izolată. Aceste explicații sunt mai utile decât un verdict forțat.
Claim ledger
- FACT/EVIDENCE: documentația Anthropic descrie mecanisme de web search și citare pentru utilizarea instrumentului, dar nu oferă o garanție că un anumit domeniu va fi citat pentru un anumit prompt.
- FACT/EVIDENCE: documentația Google Search descrie condiții generale de acces și înțelegere a conținutului web, fără a garanta citări în sisteme AI terțe.
- PRACTITIONER GUIDANCE: controlul, jurnalul de schimbări și replicarea sunt elemente metodologice pentru atribuire, nu cerințe oficiale ale Anthropic.
- INFERENCE: o documentație mai clară poate crește șansa ca produsul să fie descris corect, dar efectul asupra citărilor trebuie măsurat.
- NOT PROVEN: că o citare Claude produce direct pipeline, venit sau preferință de brand.
Criterii de oprire și limite
Oprește interpretarea dacă setul de prompturi s-a schimbat substanțial, dacă produsul a avut un release major, dacă documentația control a fost modificată sau dacă răspunsurile nu mai sunt colectate în condiții comparabile. Nu publica un "uplift" fără numitor și fără descrierea ferestrei de observație. În plus, citările sunt comportament de platformă și pot varia în timp.
