Nofollow links
Das Standard-PmWiki-Skin fügt zu allen verfügbaren Aktionen (View, Edit, History, Attach, Print und Backllinks) "rel=nofollow" hinzu. Das ist eine Vereinbarung, die von Google eingeführt wurde und die Web-Roboter anweist, den Verweisen nicht zu folgen und den Inhalten, auf die mit dem Verweis zugegriffen wird, keine Bedeutung zuzumessen. [1]
Beachten Sie, dass viele Roboter, einschließlich Yahoo! Slurp und msnbot, das "nofollow"-Attribut in den Verweisen vollständig missachtet.
Die Anti-Spam-Vereinbarung, die "nofollow" zuerst eingeführt hat, sagte nichts aus darüber, dass Roboter dem Verweis nicht folgen, sondern nur, dass Verweise mit "rel=nofollow" in Suchergebnissen keine Gewichtung erhalten sollen.
Sie können selbst rel=nofollow zu einem Wikistile hinzufügen, nämlich %rel=nofollow%, um das zu setzen.
Die Datei robots.txt
Hier ist ein Beispiel für den Inhalt einer robots.txt-Datei, das vor Allem den Robotern sagt, sie mögen Verweisen mit 'action=' nicht folgen:
User-agent: * Disallow: /pmwiki.php/Main/AllRecentChanges Disallow: /pmwiki.php/ Disallow: */search Disallow: SearchWiki Disallow: *RecentChanges Disallow: RecentChanges Disallow: *action= Disallow: action= User-Agent: W3C-checklink Disallow:
Roboter Variablen
Wir können nun bessere Kontrolle über Roboter(webcrawler)-Interaktionen mit einer Site unterstützen, um die Serverlast zu verringern.
$RobotPattern- wird genutzt, um Roboter auf Basis des user-agent strings zu identifizieren.
$RobotActions- Jede Aktion, die nicht in dieser Liste enthalten ist, führt zu einer 403 Forbidden response to robots-Meldung
$EnableRobotCloakActions- Setzen dieses Flags eliminiert jede verbotene Aktion (?action=values) von den Seitenverweisen, die an die Roboter gemeldet werden, was die Bandbreitenbelastung durch Roboter noch weiter reduzieren wird (PITS:00563).
$MetaRobots- see Die Layout-Variablen
Siehe auch
- Cookbook:Controlling WebRobots -
- https://robotstxt.org/
- https://sitemaps.org/
- Wikipedia:Robots.txt Robots Exclusion Standard
- https://microformats.org/wiki/rel-nofollow
- Category: Robots
Übersetzung von PmWiki.Robots, Originalseite auf PmWikiDe.Robots — Backlinks
| Zuletzt geändert: | PmWikiDe.Robots | am 16.12.2023 |
| PmWiki.Robots | am 15.12.2023 |