Večina prekaljenih blogerjev zagotovo ve, kaj je robots.txt in zakaj potrebujete to datoteko. Toda malo avtorjev takoj po namestitvi spletnega dnevnika na WordPress pohiti z ustvarjanjem datoteke robots.txt.
Robots.txt je besedilna datoteka, ki se naloži v korenski imenik vašega spletnega mesta in vsebuje navodila za pajke. Glavni namen njegove uporabe je prepovedati indeksiranje posameznih strani in odsekov na spletnem mestu. Vendar lahko z robots.txt določite tudi pravilno zrcalo domene, predpišete pot do zemljevida mesta in podobno.
Večina sodobnih iskalnikov se je naučila dobro krmariti po priljubljenem sistemu upravljanja vsebin in običajno ne poskuša indeksirati vsebine, ki temu ni namenjena. Google na primer ne bo indeksiral skrbniškega območja spletnega dnevnika WordPress, tudi če ga ne določite neposredno v datoteki robots.txt. V nekaterih primerih pa je lahko uporaba neposrednih prepovedi še vedno koristna. In govorimo predvsem o prepovedi podvojene vsebine.
Nekateri spletni skrbniki prepovedujejo indeksiranje strani z kategorijami in oznakami, saj njihova vsebina delno podvaja vsebino glavne strani. A večina je omejena na prepoved sledenja in strani z viri, ki popolnoma podvajajo vsebino člankov in sploh niso namenjene iskalnikom. Takšen previdnostni rezultat ne bo samo naredil "čistejših" rezultatov spletnega mesta, ampak tudi rešil možnih filtrov za iskanje, še posebej po uvedbi novega algoritma Google Panda.
Tu so priporočene smernice za datoteko robots.txt (delovala bo skoraj za vsak spletni dnevnik WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Upoštevajte, da so v robots.txt skrbniške mape wp-admin in wp-includes popolnoma zaprte za indeksiranje. Mapa wp-content je le delno zaprta, saj vsebuje imenik za nalaganje, ki vsebuje vse slike iz vašega spletnega dnevnika, ki jih je treba indeksirati.
Vse, kar morate storiti, je kopiranje direktiv iz zgornje kode (upoštevajte, da mora biti vsaka direktiva napisana v novi vrstici), jih shranite v besedilno datoteko z imenom robots.txt in naložite v korenski imenik spletnega mesta.
Vedno lahko preverite, ali robots.txt deluje pravilno, prek vmesnikov Google Webmaster Tools in Yandex Webmaster.
