Fil används för att rikta eller berätta för webbots vilka sidor och kataloger som ska indexeras eller inte indexeras. Den här filen måste placeras i rotkatalogen på servern som är värd för dina sidor. Filen ska namnges robots.txt och ska ha läsbehörigheter. Nedan visas ett exempel på en robots.txt-fil.

 # robots.txt-fil för //www.computerhope.comUser-agent: * Tillåt: / directory1 / 
Tillåt: / directory2 /

I ovanstående robots.txt-exempel är den första raden ett oklarbart uttalande som beskriver filen. Därefter berättar användaragentens rad vilka robotar eller robotar som ska följa den här delen av filen. I ovanstående exempel representerar * alla bots. Slutligen är de två följande raderna de två katalogerna som du vill att botsna inte ska indexera.

Om du vill tillåta en bot att fråga alla webbadresser på din webbplats, ange namnet på boten följt av avvisa: med ett tomt värde, som visas i exemplet nedan.

 Användaragent: Somebot *
Inte godkänna: 

Internet termer, Metataggar, Robot, SEO termer, Webbplatskarta, webbdesign villkor