Normalt kravler søgemaskine robotterne rundt på alle sider de måtte finde, og indekserer dem hvis de er interessante. På en side forfølges alle links, osv.
Hvis du har oprettet et testsite, og ikke ønsker Google skal fange det med det samme, kan du bruge en robots.txt fil til at udelukke indeksering af f.eks. en bestemt mappe. Søgemaskinerne kigger sikkert i mappen alligevel, det kan du ikke beskytte dig imod på den måde, men der bliver ikke gemt og indekseret noget.
Når Joomla! Lige er installeret, er der en robots.txt fil i roden af installationen med følgende indhold:
Det fortæller, at alle (*) User-agent (robotter) er forment adgang til de mapper der er noteret. Om de så kigger alligevel, kan vi ikke vide noget om, men det bliver ikke indekseret.
Hvis du har oprettet en ny Joomla! Installation i undermapen Joomla, skal du blot oprette et tekstdokument, kaldet robots.txt med indholdet:
User-agent: *
Disallow: /joomla/
Så ved du, at du kan have det (næsten) i fred uden det pludselig dukker op i Google.
Skriv et svar