In der robots.txt kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Das Original findet man unter robots.txt.
Neben den für eine tikiwiki üblichen Seiten wie /tiki-editpage.php etc schließen wir noch weitere aus.
- umija:ProjektIDlist, die Seite wäre zwar unsere Sitemap, dient aber eigentlich nur zum schnellen Projekt erstellen. Eigentlich bietet diese Seite aber keine qualitative Verlinkung (1A Projekte sind genauso verlinkt wie Hirnwindungen). Auserdem hat die Seite üer 100 links (ist SEO schon kritisch) vom link/wort Verhältniss ganz zu schweigen
- pastebin um ein wenig vor Spammern zu schützen.
- historie
- tracker (kann der bot als anonymus eh nicht lesen)
*admin (kann der bot als anonymus eh nicht lesen)
Info
Datei Inhalt
#laut http://umija.org/umija:www:robots Disallow: umija:pastebin Disallow: umija:ProjektIDlist Disallow: tiki-pagehistory.php Disallow: tiki-list_trackers.php Disallow: tiki-view_tracker.php Disallow: tiki-admin.php Disallow: tiki-index.php?mode=mobile Disallow: tiki-slideshow.php Disallow: tiki-slideshow2.php Disallow: tiki-wiki_rss.php Disallow: tiki-cms_rankings.php Disallow: tiki-edit_translation.php Disallow: tiki-config_pdf.php Disallow: tiki-list_articles.php Disallow: tiki-view_articles.php Disallow: tiki-galleries_rankings.php Disallow: tiki-sheets.php Disallow: tiki-read_article.php Disallow: tiki-galleries.php Disallow: com Disallow: klml: Disallow: klml%3A #same as above but with / Disallow: /umija:pastebin Disallow: /umija:ProjektIDlist Disallow: /tiki-pagehistory.php Disallow: /tiki-list_trackers.php Disallow: /tiki-view_tracker.php Disallow: /tiki-admin.php Disallow: /tiki-index.php?mode=mobile Disallow: /tiki-slideshow.php Disallow: /tiki-slideshow2.php Disallow: /tiki-wiki_rss.php Disallow: /tiki-cms_rankings.php Disallow: /tiki-edit_translation.php Disallow: /tiki-config_pdf.php Disallow: /tiki-list_articles.php Disallow: /tiki-view_articles.php Disallow: /tiki-galleries_rankings.php Disallow: /tiki-sheets.php Disallow: /tiki-read_article.php Disallow: /tiki-galleries.php Disallow: /com Disallow: /klml: Disallow: /klml%3A
Die Datei kann (inzwischen) nicht nur vom User www-data, sondern auch von der Gruppe www-data beschreiben werden