Van egy visszatérő jelenet a technikai auditokon: a Search Console szerint az oldal 120 000 URL-t ismer, miközben a webshopban összesen 900 termék van. Ez nem valamilyen egzotikus hiba, hanem egyenes következmény. A lapozás, a szűrők és a rendezés minden lehetséges kombinációja külön webcímet kap, a robot pedig szorgalmasan végigjárja mindet. Nézzük végig, mit érdemes ebből indexeltetni, mit nem, és melyik technikai eszközzel.
Miért szórja szét a paginálás és a szűrés az indexelést?
Rövid válasz: mert a szűrési szempontok szorzódnak, nem összeadódnak, és a keletkező oldalak túlnyomó része szinte azonos tartalmat mutat, csak más sorrendben.
Tovább a témában: Paraméteres URL-ek kordában tartása · Mely szűrőkombinációkat engedd indexelni a webshopban
Vegyünk egy konkrét példát. Egy székesfehérvári munkaruha-webshopban a kategórián belül van 5 méret, 4 szín, 6 gyártó és 3 rendezési mód. Ez már önmagában 5 × 4 × 6 × 3 = 360 variáció. Ha ezek mindegyike lapozható is, és átlagosan 4 oldalnyi találat van, akkor 1440 cím. Negyven kategóriával ez 57 600 URL, mögötte 900 valódi termékkel. A robot ideje véges, és minden egyes ilyen kombinációra elpazarolt kérés egy olyan kérés, ami nem jutott az új termékoldalra vagy a frissített kategórialeírásra.
Hivatalosan igazolt: a Google Search Central feltérképezési keretről szóló útmutatója kifejezetten nevesíti a fazettált (szűrős) navigációt, a végtelen naptárakat és a munkamenet-azonosítókat mint tipikus URL-pazarlókat, és azt javasolja, hogy ezeket a felesleges URL-tereket a nagy oldalak tulajdonosai zárják ki a feltérképezésből.
A második probléma nem a feltérképezés, hanem a fókusz. Ha ötvenféle URL-en érhető el gyakorlatilag ugyanaz a terméklista, a belső hivatkozási erő is ötvenfelé oszlik, és a kereső maga választ kanonikus változatot. Saját tapasztalat: nálunk a leggyakoribb Search Console-jelzés ilyenkor a "Duplikált, a Google más kanonikus oldalt választott" sor, és a választás sokszor egy szűrt, gyenge nézetre esik a tiszta kategóriaoldal helyett.
Mit tud a canonical, a noindex és a robots.txt, és mit nem tud?
Rövid válasz: a robots.txt a feltérképezést szabályozza, a noindex az indexelést, a canonical pedig csak egy jelzés arról, melyik változatot tartod fő verziónak. Három különböző kapcsoló, és nem helyettesítik egymást.
- robots.txt Disallow: a robot nem tölti le az oldalt. Hivatalosan igazolt: ez nem indexelés-tiltás, a Google dokumentációja szerint a letiltott URL is bekerülhet a találatok közé, ha máshonnan hivatkozás mutat rá, csak épp leírás nélkül.
- meta robots noindex (vagy X-Robots-Tag fejléc): erős utasítás, kiveszi az oldalt az indexből. Feltétele viszont, hogy a robot le tudja tölteni az oldalt.
- rel=canonical: hivatalosan igazolt, hogy ez jelzés és nem parancs. A kereső figyelembe veszi, de felül is bírálhatja, főleg ha a két oldal tartalma érdemben eltér.
Ebből fakad a legdrágább klasszikus hiba: valaki robots.txt-ben letiltja a ?szuro= mintát, és közben ugyanezekre az oldalakra noindexet is tesz. A robot viszont sosem tölti le az oldalt, tehát sosem látja a noindexet, így a már beindexelt címek bent ragadnak. Ha ki akarsz venni valamit az indexből, előbb hagyd, hogy a robot lássa a noindexet, és csak azután (jellemzően hetekkel később) tiltsd le a feltérképezést, ha egyáltalán szükséges.
Hivatalosan igazolt: a rel="prev" és rel="next" jelöléseket a Google 2019-es bejelentése szerint évek óta nem használja indexelési jelzésként. Nem árt, ha benne hagyod (más rendszerek olvashatják), de ne várj tőle hatást.
Hogyan kezeld a lapozást a gyakorlatban?
Rövid válasz: a lapozó oldalak maradjanak feltérképezhetők és indexelhetők, mindegyik önmagára mutasson canonicallal, és soha ne az első oldalra.
Hivatalosan igazolt: a Google lapozásról szóló ajánlása kifejezetten ellenjavallja, hogy a második, harmadik oldal canonicalja az első oldalra mutasson. Az ok egyszerű: a 4. oldalon szereplő termékek csak azon az oldalon vannak, és ha azt az első oldalra kanonizálod, azt üzened, hogy az a tartalom máshol is megvan. Nem így van.
Így néz ki jól egy lapozott kategória:
<link rel="canonical" href="https://pelda.hu/munkakesztyu/?oldal=3">
Ehhez társul néhány gyakorlati szabály. Az első oldal legyen paraméter nélküli (/munkakesztyu/), ne ?oldal=1, és ha mégis elérhető így, arról 301-gyel irányíts a tiszta változatra. A lapozó linkek legyenek valódi <a href> hivatkozások, ne csak JavaScript-eseményre kattanó gombok, különben a mélyebb oldalakon lévő termékekhez nincs bejárható út. A "Tovább" gombos, végtelen görgetéses megoldás mellé is kell egy hagyományos, linkelt lapozó változat.
Amit gyakran kérnek, de nem javaslok: a 2. oldaltól noindexet tenni. Hivatalos Google-nyilatkozat szerint a tartósan noindexen tartott oldalakon lévő hivatkozásokat a kereső idővel egyre kevésbé követi, tehát pont a mély termékoldalak feltérképezését gyengítenéd. Ha aggódsz a lapozó oldalak gyenge minősége miatt, inkább a lapozás mélységét csökkentsd (több elem oldalanként), és biztosítsd, hogy a termék-URL-ek a sitemapból is elérhetők legyenek.
Melyik szűrt nézetet érdemes mégis indexeltetni?
Rövid válasz: azt a keveset, amire bizonyíthatóan van kereslet, amihez önálló szöveges tartalmat tudsz rakni, és ami legfeljebb egy vagy két szűrési dimenziót kombinál.
Három kérdéssel dönts minden szűrt nézetről:
- Keresnek rá önálló kifejezésként? ("vízálló munkakesztyű" igen, "munkakesztyű népszerűség szerint" nem)
- Tudsz rá egyedi címet, leírást és legalább néhány mondatnyi saját szöveget tenni?
- Marad-e rajta érdemi találat akkor is, ha a készlet változik? (Az üresen maradó szűrt oldal rosszabb, mint a nem létező.)
Ha mindháromra igen a válasz, ez a nézet ne szűrő legyen, hanem önálló, statikus URL: /munkakesztyu/vizallo/, saját bevezetővel, saját canonicallal, benne a sitemapban, és belső linkkel a szülő kategóriából. Minden más maradjon paraméteres és indexelésen kívül.
Saját tapasztalat: a legtöbb magyar kkv-webshopnál kategóriánként egy-három ilyen nézet éri meg, nem húsz. A hosszú listákból csinált tömeges szűrő-landolók jellemzően egymást gyengítik, mert ugyanarra a szándékra több, félkész oldalad lesz.
Hogyan néz ki mindez kódban és robots.txt-ben?
Rövid válasz: allow-list logikával. Alapból minden paraméteres és többszörösen szűrt nézet zárva, és kézzel nyitod meg azt a néhányat, amit fentebb kiválasztottál.
A nem indexelendő szűrt nézetek fejlécében:
<meta name="robots" content="noindex,follow">
Nem HTML válaszoknál (például szűrt JSON- vagy feed-végpontnál) ugyanez fejlécben:
X-Robots-Tag: noindex
Rendezési és nézetváltó paramétereknél (?rendezes=, ?nezet=, ?oldalankent=) a tartalom tényleg azonos, ezért ott a canonical a tiszta változatra mutasson:
<link rel="canonical" href="https://pelda.hu/munkakesztyu/">
A robots.txt-t csak akkor vesd be, ha a szűrt tér már bizonyítottan zabálja a feltérképezést, és az érintett URL-ek nincsenek bent az indexben:
User-agent: *Disallow: /*?*szuro=Disallow: /*?*rendezes=Allow: /*?oldal=
Hivatalosan igazolt: a Google e-kereskedelmi útmutatója a fazettált navigációnál javasolja a nem hasznos szűrő-hivatkozások feltérképezésének korlátozását, például rel="nofollow" használatával a szűrőlinkeken, illetve a szűrő-URL-ek robots.txt-beli kizárásával. Emellett érdemes a paramétereket normalizálni: rögzített sorrend, kisbetűs értékek, üres paraméterek eldobása, hogy a ?szin=kek&meret=42 és a ?meret=42&szin=kek ne két külön cím legyen.
Mi a teendő egy nagy tudásbázisnál vagy blognál?
Rövid válasz: ugyanaz a logika, csak ott nem szín és méret szórja szét az indexet, hanem a címkék, a szerzői oldalak, a dátumarchívumok és a belső keresés.
Egy 400 cikkes, WordPress alapú tudásbázison, mondjuk egy debreceni könyvelőiroda oldalán tipikusan ez a helyzet: 60 címke, 12 kategória, 3 szerző, 5 év havi bontású archívuma, plusz a belső keresés minden lefuttatott kifejezésre új URL-t gyárt. Ebből a valóban értékes rész a 12 kategória, a többi jórészt csak átjáróoldal.
- Belső keresés (
/?s=): mindig noindex. Végtelen, felhasználó által generált URL-tér. - Dátumarchívum: jellemzően noindex, kivéve, ha valóban időrendi tartalmat gondozol (hírarchívum, jogszabályfigyelő).
- Szerzői oldal: tartsd meg indexelve, ha valódi szakértői profil van rajta bemutatkozással, szakterülettel, publikációkkal. Ha csak egy lista, mehet noindexre.
- Címkeoldalak: tartsd meg a 8-15 legfontosabbat, lásd el saját bevezetővel, a többit vedd ki az indexből. A címke akkor érdemel oldalt, ha legalább 5-8 cikk tartozik hozzá.
Saját tapasztalat: a tudásbázisoknál a legnagyobb nyereség általában nem a tiltásokból jön, hanem abból, hogy a megmaradt gyűjtőoldalak érdemi tartalmat kapnak: mit fed le a téma, kinek szól, milyen sorrendben olvasd a cikkeket. Egy ilyen gondozott gyűjtőoldal önmagában is válasz lesz, nem csak lista.
Hogyan ellenőrzöd, hogy tényleg jól működik?
Rövid válasz: ne a beállítást nézd, hanem azt, amit a robot ténylegesen lát és indexel.
- Search Console, Oldalak jelentés: nézd az "Kizárva a noindex címke miatt" és a "Duplikált, a Google más kanonikus oldalt választott" sorokat. Az elsőnek nőnie kell a tisztítás után, a másodiknak csökkennie.
- URL-ellenőrző eszköz: a Google által választott kanonikus URL egyezik-e a te canonicaloddal.
- Parancssorból ellenőrizd a fejléceket:
curl -sI https://pelda.hu/munkakesztyu/?rendezes=nev | grep -i x-robots - Feltérképező eszközzel (például Screaming Frog) futtasd le az egész oldalt, és nézd meg, hány URL keletkezik paraméterrel, és melyikük indexelhető.
- Szerverlog-elemzés: mennyi robotkérés megy paraméteres URL-ekre az összeshez képest. Ha ez 30 százalék fölött van, van dolgod.
- Sitemap-fegyelem: a sitemapban kizárólag indexelendő, 200-as státuszú, önmagára canonicalozó URL szerepeljen. Szűrt vagy noindexelt cím ne kerüljön bele.
- Belső linkek: egyetlen olyan URL-re se mutasson menü- vagy lábléc-hivatkozás, amit noindexre tettél.
A változást türelemmel mérd. Saját tapasztalat: nagyobb webshopnál az index tisztulása jellemzően heteket vesz igénybe, nem napokat, és a felszabaduló feltérképezési kapacitás hatása is késleltetve látszik. Ez nem garantál javuló helyezéseket, viszont jó eséllyel gyorsítja az új és frissített oldalak indexbe kerülését.
Hogyan érinti mindez az AI-válaszmotorokat?
Rövid válasz: a rendrakás ugyanúgy hasznos nekik, csak más okból: a nyelvi modellek robotjai is a robots.txt szerint dolgoznak, és ők is akkor idéznek szívesen, ha egy témához egy erős oldal tartozik, nem ötven gyenge.
Hivatalosan igazolt: az OpenAI és az Anthropic is dokumentálja a saját feltérképező ügynökeit (GPTBot, ClaudeBot és társaik), és mindkettő azt írja, hogy tiszteletben tartják a robots.txt szabályait. Ha tehát paraméteres URL-tereket zársz, azt ezek a botok is látják.
Szakmai feltételezés: a válaszmotorok szempontjából egy jól strukturált, egyértelmű hatókörű kategória- vagy gyűjtőoldal valószínűleg jobb idézési jelölt, mint tucatnyi majdnem azonos szűrt változat, mert egy helyen adja meg a teljes, összefüggő választ. Ezt erősítheti a listaoldalakon elhelyezett ItemList és BreadcrumbList jelölés, ami géppel olvashatóan mondja meg, mit tartalmaz a lista és hol van a struktúrában. Ez nem hivatalos rangsorolási ígéret, csak észszerű felkészülés.
Milyen hibákat érdemes elkerülni?
- robots.txt tiltás és noindex ugyanarra az URL-re (a noindex sosem érvényesül).
- A 2. és további lapozó oldalak canonicalja az első oldalra mutat.
- Szűrt nézet, aminek nincs saját címe és leírása, mégis indexelhető.
- Sitemapban szereplő noindexelt vagy átirányított URL.
- Üresen maradó szűrt oldal, ami "nincs találat" szöveget ad vissza 200-as státusszal.
- Végtelen görgetés bejárható lapozó alternatíva nélkül.
- Nagy takarítás mérés nélkül: előtte mindig legyen kiindulási állapotod a Search Console-ból és a naplókból.
A rendrakás sorrendje ez legyen: előbb mérj, aztán döntsd el, mely szűrt nézetek érnek meg önálló oldalt, azokat emeld ki statikus URL-re, a maradékot tedd noindexre, és a robots.txt-hez csak legvégül nyúlj, amikor az index már letisztult.
Források és további olvasnivalók
- Google Search Central: Ajánlott eljárások a lapozáshoz (Pagination best practices)
- Google Search Central: Nagy webhelyek feltérképezési keretének kezelése (Crawl budget management)
- Google Search Central: Kanonikus URL-ek megadása és a duplikált tartalom kezelése
- Google Search Central: Robots meta tag, data-nosnippet és X-Robots-Tag specifikáció
- Google Search Central: Bevezetés a robots.txt fájlba
- Google Search Central: E-kereskedelmi webhelyek bevált gyakorlatai (fazettált navigáció)
- Google Search Central Blog: A rel=prev/next támogatásáról szóló bejelentés (2019)
- RFC 9309: Robots Exclusion Protocol
- Schema.org: ItemList, BreadcrumbList, CollectionPage típusok
- OpenAI: GPTBot és OAI-SearchBot dokumentáció
- Anthropic: ClaudeBot feltérképezési dokumentáció
- Bing Webmaster Guidelines
- A szűrők szorzódnak, nem összeadódnak: néhány szempont is percek alatt tízezres URL-halmazt szül.
- A robots.txt tiltás megakadályozza, hogy a robot egyáltalán lássa a noindex utasítást, ezért a kettőt sosem ugyanarra az URL-re kell tenni.
- A lapozó oldalak maradjanak indexelhetők és önmagukra mutassanak canonicallal, ne az első oldalra.
- Szűrt nézetből csak azt nyisd meg indexelésre, amire valós keresés van, és amihez önálló, érdemi tartalmat tudsz tenni.
- Allow-list szemlélet: alapból minden paraméteres nézet zárva, és kézzel nyitod meg a néhány kivételt.
Gyakori kérdések
Tegyek noindexet a lapozó oldalakra?
Általában nem érdemes. A noindexelt oldalakon lévő hivatkozásokat a kereső hosszú távon egyre kevésbé követi, így pont a mélyebben fekvő termékoldalak bejárását gyengítenéd. Inkább hagyd őket indexelhetőn, önmagukra mutató canonicallal, és csökkentsd a lapozás mélységét azzal, hogy több elemet mutatsz oldalanként.
A canonical elég a szűrt oldalak kezelésére?
Csak részben. A canonical jelzés, nem parancs, és a kereső felül is bírálhatja, főleg ha a szűrt nézet tartalma érdemben eltér a fő kategóriától. Rendezési és nézetváltó paramétereknél jól működik, valódi tartalomszűkítésnél viszont inkább noindex vagy önálló, statikus oldal a helyes válasz.
Miért maradnak bent a Google-ben olyan URL-ek, amiket letiltottam a robots.txt-ben?
Mert a robots.txt a letöltést tiltja, nem az indexelést. Ha máshonnan hivatkozás mutat az URL-re, a kereső leírás nélkül is megjelenítheti. Ha ki akarod venni az indexből, előbb engedd, hogy a robot lássa a noindexet az oldalon, és csak azután tiltsd le a feltérképezést, ha egyáltalán szükséges.
Honnan tudom, hogy egy szűrt nézetből érdemes-e önálló oldalt csinálni?
Akkor éri meg, ha van rá önálló keresési kereslet, tudsz hozzá egyedi címet, leírást és néhány mondat saját szöveget írni, és a szűrő tartósan ad érdemi találatot. Ha bármelyik feltétel nem teljesül, hagyd paraméteres, indexelésből kizárt nézetnek.
Mennyi idő alatt látszik a hatás egy nagy takarítás után?
Tapasztalatunk szerint nagyobb webshopnál az index tisztulása hetekben mérhető, nem napokban, a felszabaduló feltérképezési kapacitás hatása pedig még ennél is később jelentkezik. Helyezésbeli javulást ez nem garantál, viszont jó eséllyel gyorsítja az új és frissített oldalak indexbe kerülését.
Mit jelöljek strukturált adattal a listaoldalakon?
A listaoldalakon az ItemList és a BreadcrumbList jelölés a leghasznosabb: az egyik géppel olvashatóan írja le, mi szerepel a listában, a másik pedig azt, hol helyezkedik el az oldal a struktúrában. Ez nem jelent rangsorolási előnyt, de segítheti a helyes értelmezést a keresőknél és a válaszmotoroknál.
Források és további olvasnivalók
Ezen az oldalon a hivatalosan igazolt információt elsődleges forrásokból építjük fel; a saját tapasztalatot és a szakmai becslést mindig külön jelöljük a szövegben.