Răspuns scurt: un experiment util nu testează dacă poți „forța” Claude să citeze domeniul propriu, ci dacă o intervenție controlată asupra consistenței informației locale reduce erorile și schimbă stabil, în timp, mixul de surse observat. Anthropic documentează web search și citările, însă nu publică o formulă care să ofere control direct asupra selecției surselor. De aceea, experimentul trebuie construit în jurul unor ipoteze pe care le poți falsifica.

Ipoteza

O formulare defensabilă este:

Pentru locații cu informație first-party coerentă, alinierea profilurilor externe prioritare și clarificarea ownership-ului paginilor va reduce rata de răspunsuri factuale greșite în query set-ul monitorizat și poate modifica mixul de surse, comparativ cu locații similare fără aceeași intervenție.

Rezultatul principal este factual accuracy. Citarea domeniului propriu este un outcome secundar, nu scopul unic.

Populația

Alege locații comparabile ca tip de serviciu, maturitate și complexitate operațională. Nu compara un sediu nou cu unul care are ani de reviews, profiluri externe consolidate și brand awareness local ridicat.

Dacă ai o singură locație, poți folosi un design before/after, dar trebuie să fii mai prudent cu atribuirea.

Baseline

Înainte de intervenție salvează:

  • numele canonical al locației;
  • adresa sau service area;
  • programul;
  • serviciile active;
  • URL-ul canonical;
  • LocalBusiness markup;
  • profilurile externe critice;
  • first-party conflict count;
  • factual accuracy într-un query set fix;
  • owned citation rate;
  • third-party citation rate;
  • data fiecărei observații.

Fără baseline, un screenshot favorabil nu este experiment.

Grupul de intervenție

Modificările trebuie să rămână limitate la stratul testat:

  1. repari conflictele first-party;
  2. clarifici un URL owner pentru fiecare informație materială;
  3. aliniază structured data cu pagina;
  4. actualizezi profilurile externe pe care le controlezi legitim;
  5. păstrezi aceeași ofertă și același copy comercial, pe cât posibil.

Nu schimba simultan pricing, design, pagini de servicii și campanii dacă vrei să izolezi efectul intervenției.

Grupul de comparație

Folosește una sau mai multe locații apropiate ca structură, dar fără intervenția completă în prima fereastră. Dacă apare o eroare materială, repar-o chiar dacă afectează controlul. Integritatea informației are prioritate față de puritatea experimentului.

Dacă grupul de comparație primește între timp un redesign, o campanie sau un val de reviews, marchează evenimentul ca posibil confounder.

Query set-ul

Construieste întrebări pe patru categorii:

  • identitate: „Care este adresa?”, „Ce program are?”;
  • ofertă: „Oferă serviciul X?”;
  • eligibilitate: „Acoperă zona Y?”;
  • comparație: „Ce diferență este între locația A și B?”.

Păstrează formularea stabilă în interiorul unei faze. Dacă schimbi prompturile, începe o nouă versiune a experimentului.

Metrică 1: factual accuracy

Pentru fiecare claim verificabil folosește aceeași rubrică: corect, incomplet, greșit, neverificabil.

Raportează numeratorul și denominatorul. De exemplu, 34 claims corecte din 40 claims eligibile spune mai mult decât „accuracy foarte bună”.

Metrică 2: source mix

Separă owned source, director local, review platform, publicație și alte surse. Nu presupune că owned source este întotdeauna superior. Pentru o experiență a clienților, o sursă independentă poate fi potrivită.

Metrică 3: naming stability

Urmărește dacă sistemul folosește constant numele corect al locației și nu revine la aliases istorice. Această metrică este utilă mai ales după rebrand sau relocare.

Metrică 4: correction lag

Măsoară timpul dintre corectarea first-party și momentul în care profilurile externe sau outputs monitorizate nu mai repetă eroarea. Acest lag este operațional și poate varia între surse.

Fereastra de observație

Definește intervalul înainte. Nu există un număr universal de zile. Pentru schimbări de program, fereastra poate fi scurtă. Pentru profile externe și recrawl, poate fi nevoie de observații mai lungi.

Folosește aceeași frecvență pentru grupurile comparate.

Confounderi

Ține un jurnal pentru:

  • program sezonier;
  • schimbări de ofertă;
  • reviews noi;
  • campanii;
  • PR local;
  • relocări;
  • schimbări ale website-ului;
  • schimbări ale platformei AI;
  • actualizări independente ale directoarelor.

Dacă un confounder este suficient de mare încât grupurile nu mai sunt comparabile, oprește interpretarea și începe o nouă fază.

Stop criteria

Oprește experimentul când:

  • query set-ul a fost modificat material;
  • o locație își schimbă oferta de bază;
  • grupul de comparație primește o intervenție majoră;
  • datele first-party nu mai pot fi menținute comparabile;
  • rezultatele au devenit stabile pe mai multe runde și noile observații nu mai schimbă concluzia.

Nu continua doar pentru a găsi un rezultat pozitiv.

Un rezultat pozitiv realist

Să presupunem că înainte de intervenție ai 72% factual accuracy, iar după intervenție ai 91%, în timp ce grupul de comparație rămâne aproximativ stabil. În același timp, owned citation rate crește modest, dar unele răspunsuri continuă să citeze surse third-party.

Concluzia matură este că intervenția a fost asociată cu o îmbunătățire a factual accuracy în populația observată. Nu concluzionezi că „entity optimization obligă Claude să citeze website-ul”.

Un rezultat nul util

Poți obține first-party conflict rate aproape de zero fără schimbare detectabilă în citations. Acesta este tot un rezultat bun: sistemul public este mai coerent, iar echipa reduce riscul de informații contradictorii.

Acceptance criteria

Experimentul poate fi raportat dacă ipoteza, populația, controlul, intervenția, observation window, denominatorii, confounderii și raw observations sunt documentate și reproductibile.

Claim ledger

  • FACT/EVIDENCE: Anthropic documentează web search și citările către surse.
  • FACT/EVIDENCE: Google documentează LocalBusiness structured data pentru entități locale eligibile.
  • PRACTITIONER GUIDANCE: factual accuracy și source mix trebuie măsurate separat.
  • INFERENCE: reducerea conflictelor poate contribui la outputs mai stabile.
  • NOT PROVEN: că o intervenție locală produce direct sau garantat owned citations în Claude.

Concluzie

A/B editorial pentru Claude web citations are sens doar dacă experimentul poate produce și un rezultat nefavorabil. Dacă orice variație este interpretată drept „succes GEO”, nu mai ai experiment, ai storytelling. Definește ipoteza, protejează controlul și măsoară factualitatea înaintea vanității.

Surse revizuite

Articole conexe