Even dit ter vermelding...
Ik weet niet of iedereen dit al wist (ik niet in ieder geval) maar het is dus mogelijk om spiders af te blokken op bepaalde delen van uw site.
Dit is vooral interessant voor de delen die persoonlijke informatie bevatten.
Hoe doe je dit?
eenvoudig:
maak een tekst-file aan met daarin volgende informatie:
Code:
User-agent: *
Disallow: /cgi-bin/
Disallow: /albums/
Disallow: /site/wie.htm
Disallow: /site/wie_groepsleiding.htm
Disallow: /site/wie_welpen.htm
Disallow: /site/wie_kabouters.htm
Disallow: /site/wie_kapoenen.htm
Disallow: /site/wie/
regel1: deze file geldt voor ALLE spiders
volgende regels: blokker deze dirs / files
nadien moet je deze file in de root van je site uploaden.
meer info over robots.txt:
http://www.searchengineworld.com/robots ... torial.htm
hier kan je je scriptje ook laten uittesten:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
Aanmelden
Registreren
FAQ
Zoeken
