robot.txt indikerer hvor "dybt" spiderne kan crawle på din hjemmeside.

robots.txt

Robots.txt-filen placeres i www directory

Der hvor filen skal placeres er i: www.yourdomainname.dk/robots.txt
Filen indikerer hvor "dybt" spiderne kan crawle på din hjemmeside.

Det er muligt, at holde spiderne ude af directory kaldet "dealers" eller et directory som "images".

Denne robot.txt fil kan se sådan ud:

User-agent: *
Disallow: /setup/
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /photos/
Disallow: /dealers/

Nogle gange spørger spiderne om lov til at blive tilføjet følgende linje:

Allow= tillad: spider-xyz

Fik du benyttet alle vores gode tips og optimeret din hjemmeside?

Så kan du nu tilføje din hjemmeside ved at benytte vores system.

Part of the MetaTags Company Inc. - Sidst opdateret den 30-07-2010