AI-idézettségi kísérlet tervezése kontrolloldallal

Scheo · 2026-11-01 · olvasási idő ~10 perc · Szerző: Schmidt Péter

Aki AI-idézettséget mér, hamar ugyanabba a csapdába esik. Beteszel egy definíciós blokkot a szolgáltatásoldal elejére, két héttel később a ChatGPT többször hivatkozik az oldalra, és úgy tűnik, működött a módosítás. Közben viszont frissülhetett a motor, változhatott a versenytársak tartalma, és ugyanaz a kérdés egy órával később is más forrásokat hozhatott volna. A kontrolloldal ezt a bizonytalanságot csökkenti. Egy hasonló oldalra van szükséged, amelyhez a kísérlet alatt nem nyúlsz, így látod, mennyit mozgott volna a mérés a változtatás nélkül is.

A leírt módszer kisebb magyar weboldalakra készült, ahol nincs több ezres minta. A saját álláspontunk az, hogy kis mintán is lehet felelős döntést hozni, ha a módszer következetes, a bizonytalanságot leírod, és a következtetést nem fújod fel.

Mit mér egy kontrolloldalas AI-idézettségi kísérlet?

A kísérlet azt méri, mennyivel változott a módosított oldal idézési aránya a hasonló, érintetlen oldal változásához képest. Az idézési arány azt mutatja, a kérdezések hány százalékában jelent meg az oldal URL-je forrásként. A vizsgált hatás becslése a két változás különbsége, ezt a statisztikában különbségek különbségének hívják.

Ha a tesztoldal 20 százalékról 35 százalékra nő, a kontrolloldal pedig 20-ról 30-ra, akkor a nyers 15 százalékpontos javulásból csak 5 pont köthető jó eséllyel a változtatáshoz. A többi 10 pontot valószínűleg olyasmi okozta, ami mindkét oldalt érintette, például a motor forrásválasztásának átalakulása. A módszer korlátja, hogy csak a közös hatásokat szűri ki. Ha közben kizárólag a tesztoldal kapott új hivatkozást, azt a kontrolloldal nem fogja megmutatni.

Miért nem elég a tesztoldalt önmagában figyelni?

Az AI-válaszok forrásai ismételt kérdezésre is változnak, ezért egy oldal adatából nem derül ki, mi okozta az elmozdulást. A generatív modellek válasza alapértelmezetten nem determinisztikus, a keresésre támaszkodó motorok pedig a kérdés újrafogalmazásától, a találati indextől és a helyszíntől függően is más forrásokat vehetnek fel.

A bizonyosság foka itt fontos, ezért külön jelöljük.

• Hivatalosan igazolt. A Google dokumentációja szerint az AI-áttekintésekben és az AI módban való megjelenéshez nincs külön technikai követelmény, a szokásos keresési alapelvek érvényesek. A Search Console ezt a forgalmat a Web keresési típusban számolja, tehát idézésenkénti kísérlethez önmagában nem elég részletes. Az OpenAI külön leírja, hogy a ChatGPT keresési funkciójához az OAI-SearchBot gyűjt adatot. Azt, hogy egy definíciós blokk vagy táblázat hány százalékkal növeli az idézettséget, egyik szolgáltató sem közöl.
• Saját tapasztalat. Rögzített prompt mellett is gyakori, hogy a forráslista alkalmanként eltér, és motoronként jelentős a különbség. Ezért egy-két kérdezés alapján sosem döntünk.
• Szakmai feltételezés. A jól tagolt, önmagában is érthető blokk könnyebben kiemelhető, ezért segítheti az idézést. Ezt épp a kísérlet hivatott ellenőrizni a saját oldaladon.

Hogyan válassz kontrolloldalt?

Jó kontrolloldal az, amely típusban, életkorban és kiinduló idézettségben hasonlít a tesztoldalhoz, de témában nem versenyez vele. Ha egy könyvelőiroda „cégalapítás költségei” oldalát teszteled, kontrollnak alkalmas lehet ugyanazon a webhelyen a „bérszámfejtés vállalkozásoknak” oldal, ugyanolyan szerkezettel. Az azonos webhely miatt a domain tekintélye és a feltérképezés gyakorisága nagyjából közös.

A választás előtt nézd végig ezt a listát.

• Az oldal típusa egyezik (szolgáltatásoldal szolgáltatásoldallal, blogcikk blogcikkel).
• Az életkor, a hossz és a szerkezet hasonló.
• A kiinduló idézési arány nagyjából azonos, és egyik oldalé sem nulla.
• A két oldal nem ugyanarra a kérdésre válaszol, így az egyik nem veheti el a másik helyét a válaszban.
• A kísérlet alatt egyik oldalra sem tervezel új belső linket, kampányt vagy más szerkesztést.
• A szerverlogban mindkét oldalt rendszeresen felkeresik a keresőrobotok.

Ha a kiinduló arány mindkét oldalon nulla, a kísérlet nehezen értelmezhető, mert egyetlen megjelenés is nagy ugrásnak látszik. Ilyenkor előbb a láthatósági alapokkal foglalkozz. Ha van rá lehetőséged, több oldalpárral dolgozz, mert a párok ismétlése megbízhatóbb, mint egyetlen pár hosszabb figyelése.

Milyen lépésekben készítsd elő a kísérletet?

A kísérletet a változtatás előtt írd le teljesen, a mérési feltételeket pedig az alapállapot rögzítésétől a lezárásig tartsd változatlanul. Az utólag igazított prompt vagy küszöb értéktelenné teszi az eredményt.

1. Írd le a hipotézist egy mondatban. Például így: az oldal első bekezdése elé tett, 50 szavas definíciós blokk növeli az idézési arányt a „mi az” típusú kérdéseknél.
2. Válassz egyetlen változót. Definíciós blokk, táblázat vagy frissítési dátum közül egyszerre csak egyet módosíts. Ha mindhárom egyszerre kerül fel, nem fogod tudni, melyik hatott.
3. Rögzítsd a promptokat. Oldalanként 8-10 semleges, életszerű kérdést írj, márkanév nélkül. Szó szerint mentsd el őket, és ugyanazt a szöveget használd végig.
4. Rögzítsd az időpontokat. Például minden kedden és csütörtökön 9 órakor kérdezz, ugyanarról a helyről, ugyanazzal a fiókállapottal, új beszélgetésben. A memória és az előzmények legyenek kikapcsolva.
5. Mentsd az alapállapotot. Legalább két hétig mérj a változtatás előtt, és készíts másolatot a két oldal HTML-jéről és a válaszokról.
6. Told be a módosítást, és jegyezd fel a pontos időpontját. A frissítési dátumnál a látható dátum és a schema.org dateModified értéke egyezzen, és csak valódi tartalmi változásnál módosítsd.
7. Várd meg az újralátogatást. A szerverlogban ellenőrizd, hogy a Googlebot, a Bingbot, az OAI-SearchBot vagy a PerplexityBot járt-e az oldalon a módosítás után. Amíg ez nem történt meg, a motor jó eséllyel nem látja a változást.
8. Mérj ugyanannyi ideig, mint az alapállapotnál. A kezdeti napokat a robotlátogatás előtt ne számítsd be, ezt viszont előre rögzítsd.

A motoronkénti naplóhoz egyszerű táblázat is elég, minden kérdezés egy sor.

datum;ido;motor;mod;prompt_id;oldal;szakasz;idezett;pozicio;idezett_reszlet;megjegyzes

2026-11-10;09:00;ChatGPT;kereses;P03;teszt;elotte;1;2;"A cégalapítás ...";

Motoronként külön sor kell, mert a ChatGPT, a Perplexity, a Copilot és a Google AI-felületei más indexből dolgozhatnak. Az API-n kapott válasz is eltérhet a böngészős felülettől, ezért a kettőt ne keverd. Automatizált lekérdezés előtt nézd meg az adott szolgáltató felhasználási feltételeit.

Mennyi ismétlés kell, hogy a szórás ne vigyen félre?

Gyakorlati minimumként oldalanként és motoronként 8-10 prompt, promptonként legalább 5 kérdezés a változtatás előtt és után ad használható irányt, de ekkora minta csak nagy különbséget mutat meg megbízhatóan. Erre nincs hivatalos szám, ez a saját munkaszabályunk, amely a mintavételi hibából és a ráfordítható időből adódik.

Egy 50 százalék körüli arány 95 százalékos hibahatára a kérdezések számával így csökken, ha a kérdezéseket függetlennek vesszük.

• 10 kérdezésnél körülbelül ±31 százalékpont.
• 20 kérdezésnél körülbelül ±22 százalékpont.
• 50 kérdezésnél körülbelül ±14 százalékpont.
• 100 kérdezésnél körülbelül ±10 százalékpont.

A különbségek különbségében négy arány bizonytalansága adódik össze, ezért a hibahatár nagyjából kétszerese az egy arányra számoltnak. Ráadásul ugyanarra a promptra adott válaszok hasonlítanak egymásra, így az 5 ismétlés 8 prompton kevesebbet ér 40 teljesen független mérésnél. Ha választanod kell, inkább több promptot használj, és csak utána növeld a promptonkénti ismétlést.

Nézzünk egy elképzelt számpéldát. Egy motoron 8 prompt és 5 kérdezés 40 mérést ad szakaszonként. A tesztoldal 9-ről 19 találatra nő (22,5 százalékról 47,5 százalékra), a kontrolloldal 10-ről 12-re (25 százalékról 30 százalékra). A becsült hatás 20 százalékpont, a hibahatár viszont nagyjából ±28 százalékpont. Az eredmény biztató, de bizonyítottnak nem nevezhető. Egy ekkora eltérés kezelhető ígéretes jelként, amelyet érdemes megismételni.

Mikor valódi hatás az eredmény, és mikor véletlen ingadozás?

Valódi hatásra akkor következtethetsz óvatosan, ha az eltérés nagyobb a kontrolloldal mozgásánál, több prompton is megjelenik, megismétlődik, és az idézett szöveg a módosított részből származik. Az alábbi jelek egyike sem elég magában, együtt viszont erős képet adnak.

• Irány. A nettó változás pozitív, és a tesztoldal nem csak visszatért a korábbi szintjére.
• Szélesség. A promptok többsége elmozdult, a növekedést nem egy-két kérdés hozta.
• Motorok. Legalább két egymástól független motoron azonos az irány. Ha csak egyen látszik, azt arra a motorra korlátozd.
• Mechanizmus. Az idezett_reszlet oszlopban a válasz a beillesztett definíció vagy táblázat szövegét használja. Ez a leghasznosabb ellenőrzés, mert egy tartalmi okhoz köti a számot.
• Tartósság. A hatás egy újabb kétheti mérési szakaszban is megmarad.
• Ismételhetőség. Ha ugyanazt a változtatást a kísérlet után a kontrolloldalra is felteszed, ott is hasonló elmozdulás jön.

Véletlen ingadozásra utal, ha a tesztoldal és a kontrolloldal együtt mozog, ha a növekedés egyetlen napra vagy egyetlen promptra esik, ha a változás a robot újralátogatása előtt jelent meg, vagy ha a következő szakaszban eltűnik. Gyanús az is, ha a kontrolloldal közben erősen visszaesik, mert ilyenkor a nettó hatást nem a tesztoldal javulása, a kontroll romlása adja.

Hogyan hozz dokumentált döntést kis mintán?

Kis mintán a döntésed fokozata legyen arányos a bizonyítékkal, és a küszöböket még a mérés előtt rögzítsd. Ettől lesz a kísérlet ellenőrizhető akkor is, ha a statisztikai erő szerény. Mi három kategóriát használunk.

• Valószínű hatás. A nettó eltérés meghaladja a hibahatárt, vagy legalább négy jel teljesül az előző listából, köztük a mechanizmus. A változtatást kiterjesztheted további oldalakra, kis lépésekben.
• Ígéretes jel. Az irány jó, de a hibahatáron belül vagyunk. Ismételj meg egy újabb oldalpáron, és csak utána terjeszd ki. Ha a módosítás az olvasónak is hasznos, az oldalon maradhat.
• Zaj. A két oldal együtt mozog, vagy a változás nem tartós. Nincs bizonyíték a hatásra, és ezt így is rögzítsd. Ez nem jelenti azt, hogy a módosításnak biztosan nincs hatása, csak azt, hogy ez a mérés nem mutatta ki.

A kísérlet lezárásakor egy rövid jegyzet maradjon meg. Szerepeljen benne a hipotézis, a két URL, a változtatás dátuma, a promptlista, a motorok, a mintaszám, a nyers és a nettó eltérés, a hibahatár, a döntés és az, hogy mi zavarhatta a mérést. Több ilyen jegyzetből idővel a saját oldalaidra érvényes minta áll össze, amely többet ér egy magabiztos, de egyszeri grafikonnál.

Milyen hibák torzítják leggyakrabban a kísérletet?

A legtöbb torzítás a mérési feltételek menet közbeni változásából ered, és előzetes rögzítéssel megelőzhető. A leggyakoribb hiba a promptok utólagos átírása, ha az eredmény nem tetszik. Hasonlóan veszélyes, ha a tesztoldalra a kísérlet alatt belső link kerül a kontrolloldalról, mert a két oldal ilyenkor már nem független.

Figyelj arra is, hogy a saját fiókod előzményei befolyásolhatják a választ, ezért a memóriát kapcsold ki, és új beszélgetést indíts. Ha közben a motor jelentős frissítést kapott, jegyezd fel a dátumot, és fontold meg, hogy a szakaszt újrakezded. Sok prompt és sok motor együtt hamis találatokat is hoz, mert elég sok összehasonlításból valamelyik véletlenül is kedvezőnek látszik. Ezért a fő mutatót és a fő motort előre nevezd meg. A módszer nem garantál idézettséget, és egy kísérlet eredménye más oldaltípusra csak óvatosan vihető át.

Források és további olvasnivalók

• Google Search Central, AI-funkciók és a webhelyed
• Google Search Central, a Search Console teljesítményjelentés dokumentációja
• OpenAI dokumentáció, az OpenAI keresőrobotjainak leírása (OAI-SearchBot)
• OpenAI dokumentáció, a modellkimenetek reprodukálhatósága
• Schema.org, a dateModified tulajdonság leírása
• W3C, Web Content Accessibility Guidelines (a tagolt, érthető tartalomszerkezethez)