1. Einfangen von Domain-Vertippern
   Es ist heutzutage sehr schwer geworden, noch einen freien Domainnamen zu finden. Ich habe es mir angewöhnt, neben der richtigen Schreibweise auch Domain-Namensvariationen und Vertippmöglichkeiten gleich mitzureservieren. Diese zusätzlichen Domains bedeuten zwar permanente, finanzielle Zusatzkosten, sind aber günstiger als später ein Rechtsstreit gegen Trittbrettfahrer. Neben reinen Domain-Namens-Vertippern, sollte man hierbei auch an evtl. mögliche Schreibweisen mit Bindestrich bzw. ohne Bindestrich denken.
2. Berücksichtigung der Domain Schreibweise mit und ohne “www.”
   Dies ist wohl einer der klassischen Anwendungsgründe warum man einen “Permanent Redirect” verwendet, weil man ansonsten eine Google-Abstrafung wegen “Duplicate Content” riskiert.

Mein Stufenplan

Ich empfehle eine mehrstufige Vorgehensweise:

1. Die Nameserver-Einträge bzw. DNS Einträge auf die gewünschte Haupt-/Zieldomain setzen.
2. Auf der Hauptdomain die entsprechenden Serveraliase für die www.domainname.tld Variante und die Domainnamensvariationen anlegen.
3. Durch einen Rewrite Befehl auf dem Apache Server eine HTTP-Permanent-Redirect Antwort absetzen.

Begründung

zu Punkt 1:

Durch den entsprechenden Nameserver bzw. DNS Eintrag genügt eine einfache Domainregistrierung.
Es ist kein Webhostingpaket pro Domain erforderlich.

zu Punkt 2:

Durch die Serveraliase werden die erhaltenen Domainnamen erkannt und mit der Zieldomain verknüpft, dieser zugeordnet.

zu Punkt 3:

Wichtig, damit die Domain-Namensvariationen für Google keine Abstrafung wegen “Duplicate Content” nach sich ziehen.

Permanent Redirect

Je nachdem den Möglichkeiten, die man zur Verfügung hat oder nach der jeweiligen Vorliebe ist an einer der Stellen

• http.conf  (Apache Konfigurationsdatei)
• .htaccess (auf Verzeichnisebene)
• vhost.conf (Plesk Konfigurationsdatei)

der entsprechende mod-rewrite Code abzusetzen:

RewriteEngine On
RewriteCond %{HTTP_HOST} !www.domain.tld
RewriteRule (.*) http://www.domain.tld/$1 [R=301,L]

Bei Plesk das abschließende

/usr/local/psa/admin/sbin/websrvmng –reconfigure-vhost –vhost-name=yourDomainname.de
/etc/init.d/apache2 restart

nicht vergessen.

Suchmaschinen reagieren sehr sensibel auf Duplicate Content und bestrafen dieses Vorgehen, wenn dahinter eine Manipulationsabsicht bezüglich des Rankings erkennbar oder eine Irreführung des Internetnutzer beabsichtigt ist

Auch redliche Betreiber von Internetseiten stellen immer wieder “Duplicate Content” Seiten ins Netz, ohne sich dessen bewußt zu sein.

Google reagiert zwar – nach eigenen Aussagen – relativ entspannt auf diese Duplicate-Content-Seiten, d.h. man fliegt nicht gleich aus dem Google-Trefferindex, aber die Seiten werden herabgestuft und das kommt auf dasselbe heraus, denn eine Anzeigeposition auf der vierten Google-Trefferseite wird kaum mehr beachtet und angeklickt.
Unter diesem Aspekt betrachtet, müßte man sich also fast wünschen, etwas energischer auf die eigenen Duplicate Content Seiten aufmerksam gemacht zu werden, denn augenblicklich bleiben diese beim eigenen Internetauftritt einfach nur unerkannt.

Im folgenden Blogartikel möchte ich drei Fallgruben aufzeigen, in die jeder tappen kann und mit einen Lösungskatalog von Maßnahmen abschließen, die darauf ausgerichtet sind, dies zu verhindern.

Fallgrube: Startseite
Wie leicht man unbeabsichtigt Duplicate Content Seiten erzeugt, verdeutlicht am anschaulichsten die Startseite eines Internetauftritts.

Die Startseite ist sowohl über www.*  als auch ohne das Prefix zu erreichen.

http://www.meinShop.de

http://meinShop.de

Für die Google-Suchmaschine sind das zwei getrennte URL’s (Aufrufpfade) und wenn dann der gleiche Inhalt angezeigt wird, dann ist das Duplicate Content.

Oder wie wäre es mit folgenden URL’s. Sicherlich führen mehrere von diesen auch bei Ihnen zur gleichen Seite.

• meinShop.de/
• meinShop.de/?
• meinShop.de/index.html
• meinShop.de/index.htm
• meinShop.de/index.jsp
• meinShop.de/index.php
• meinShop.de/Home.aspx
• www.meinShop.de/
• www.meinShop.de/?
• www.meinShop.de/index.html
• www.meinShop.de/index.htm
• www.meinShop.de/index.jsp
• www.meinShop.de/index.php
• www.meinShop.de/Home.aspx

Fallgrube: Internetshops
Wie leicht man unbeabsichtigt zu solchen doppelten Inhalten kommt, zeigt sich bei einer Vielzahl von Internetshops. Man legt in seinem eCommerce Shopprogramm das Produkt einmal an und kann dann das Produkt in der Regel sehr komfortabel unter verschiedenen Kategorien einordnen.

Für das Spiel “ABDCD” existiert damit eine Detailseite der Art
www.meinShop.de/spielwaren/artikelABC.html

aber auch in der Kategorie der Gesellschaftsspiele ist der Artikel gelistet
www.meinShop.de/spielwaren/gesellschaftsspiele/artikelABC.html

und da der Artikel aus Holz ist, wurde er auch der Kategorie “Holzspielzeug” zugeordnet
www.meinShop.de/spielwaren/gesellschaftsspiele/artikelABC.html

und da der Artikel vom Händler “Ravburg” ist, findet er sich auch unter
www.meinShop.de/spielwaren/haendler/ravburg/artikelABC.html

und dann ist es ja noch ein Spiel für Kinder bis 6 Jahren, in der Preisrange zwischen 10 und 20 EUR, und, und ….

Natürlich ist es komfortabel, wenn die Shopprogramme viele Zugriffsmöglichkeiten/-pfade auf die Artikel erzeugen, aber sie generieren damit auch Duplicate-Content Seiten.  Diese Problematik bei Shopprogrammen ist Google natürlich bekannt und Google reagiert darauf.  Nach dem Google Sprachgebrauch wird der Shopbetreiber nicht bestraft (No Penalties), aber nichtsdestotrotz zieht es Konsequenzen (Issues) für diese Seiten nach sich:

1. Dilution of link popularity – Die Linkpopularität dieser Seiten wird verwässert.
2. Inefficient crawling – Da Google bei einem Besuch der Internetpräsenz immer nur ein paar Seiten besucht und verarbeitet, kann man sich vorstellen, dass es viel länger dauert, bis Google alle Seiten erfasst. Google schreibt, dass sein Suchalgorithmus beim Vorfinden von Duplicate Content Seiten, sich letztendlich für eine Seite entscheidet, welche dann gelistet wird.  Für mich offen ist allerdings, wann der Algorithmus diese Entscheidung fällt. Werden Duplicate-Content-Seiten auf eine Art “Wiedervorlage” gelegt, um nach späteren weiteren Scans entscheiden zu können, ob hier noch mehr Seiten mit dem gleichen Inhalt kommen, um dann irgendwann ein abschließendes Urteil fällen zu können? Das würde für mich durchaus Sinn machen. Oder entscheidet sich der Algorithmus auch nach dem nur teilweisen Abrufen von Seiten und nimmt diese Seite in den Index auf?

Wenn ich im obigen Beispiel sprechende URL’s für die Unterverzeichnisse und für die Artikel verwendet habe, so gilt das eben gesagte auch für diejenigen Shopprogramme, welche nach dem Controllerprinzip nichtsprechende URL’s verwenden:

www.meinShop.de/spielwaren/index.html?artikel=678
www.meinShop.de/spielwaren/index.html?kategorie=123&artikel=678
www.meinShop.de/spielwaren/index.html?kategorie=456&artikel=678

Fallgrube: Druckseiten
Oft werden dem Besucher Druckseitenversionen der Internetseite angeboten. Wenn diese Druckseiten nicht mit dem “noindex” Metatag ausgezeichnet wurden, werden diese Seiten von den Suchmaschinen-Suchbots gleichrangig zu den normalen Internetseiten eingestuft und …. Sie haben Duplicate Content erzeugt.  So einfach geht das.

Lösungskatalog

• Bestimmte Seiten (z.B. printer-Seiten) über die robots.txt Datei von der Suchmaschinen-Indizierung ausschließen.
• Verwendung des “noindex” meta tags
• Entscheidung für einen Hauptzugriffsaufruf (canonical url) für eine Seite und Verwendung eines permanent redirects (301) für alle anderen Seiten
• Im Google Webmaster Tool eine Voreinstellung bzgl. www.domainname.tld bzw. domainname.tld treffen.
• Verwenden des neuen rel=canonical HTML tags

Siehe auch

Google Webmaster Central Blog Beitrag: Duplicate content and multiple site issues