Scoutnet vzw

We connect scouts!
Het is momenteel 29 Mrt 2024 14:54

Alle tijden zijn UTC + 1 uur




Plaats een nieuw onderwerp Reageren op dit onderwerp  [ 1 bericht ] 
Auteur Bericht
 Titel: robots.txt
BerichtGeplaatst: 02 Dec 2003 8:46 
Offline
 
 
Gebruikers-avatar

Geregistreerd: 18 Jul 2002 23:00
Berichten: 69
Even dit ter vermelding...
Ik weet niet of iedereen dit al wist (ik niet in ieder geval) maar het is dus mogelijk om spiders af te blokken op bepaalde delen van uw site.

Dit is vooral interessant voor de delen die persoonlijke informatie bevatten.

Hoe doe je dit?

eenvoudig:
maak een tekst-file aan met daarin volgende informatie:
Code:
User-agent: *
Disallow: /cgi-bin/
Disallow: /albums/
Disallow: /site/wie.htm
Disallow: /site/wie_groepsleiding.htm
Disallow: /site/wie_welpen.htm
Disallow: /site/wie_kabouters.htm
Disallow: /site/wie_kapoenen.htm
Disallow: /site/wie/


regel1: deze file geldt voor ALLE spiders
volgende regels: blokker deze dirs / files

nadien moet je deze file in de root van je site uploaden.

meer info over robots.txt:
http://www.searchengineworld.com/robots ... torial.htm

hier kan je je scriptje ook laten uittesten:
http://www.searchengineworld.com/cgi-bin/robotcheck.cgi


Omhoog
 Profiel  
 
Berichten weergeven van de afgelopen:  Sorteer op  
Plaats een nieuw onderwerp Reageren op dit onderwerp  [ 1 bericht ] 

Alle tijden zijn UTC + 1 uur


Wie is er online?

Gebruikers in dit forum: Geen geregistreerde gebruikers en 13 gasten


U mag geen nieuwe onderwerpen plaatsen in dit forum
U mag geen reacties plaatsen op onderwerpen in dit forum
U mag uw berichten niet wijzigen in dit forum
U mag uw berichten niet verwijderen in dit forum
U mag geen bijlagen plaatsen in dit forum

Zoeken naar:
Ga naar:  
cron
Powered by phpBB® Forum Software © phpBB Group
Vertaald door phpBBservice.nl.