Thema: Mambo + Google = Nur Probleme

Guten Abend

Ein etwas ungewöhnliches Problem - das muß ich zugeben. Die meisten hier fragen immer wie man seine Seite bei Google möglichst gut plazieren kann. Ich dagegen würde mich freuen wenn Google mal ein paar Tage nichts machen würde....

Zum Problem
Ich habe Mambo 4.5.1 und das phpbb2 in benutzung, die restlichen Komponenten sind in diesem Fall uninteressant.

Google.com kommt mit etwa 20 bis 100 IP's gleichzeitig (kann ich nicht genau sagen weil es sich ständig ändert und die Liste zu lang ist). Nach jeden besuchten Link auf meiner Seite löscht er den Cookie und macht eine neue Session in der Datenbank auf. Sowohl bei "mos_sessions", als auch bei "phpbb2_sessions" führt das zu einigen tausend Einträgen.

In etwa einer Stunde werden so etwa 350 MB Traffik erzeugt. Und Google bleibt fast immer 3 bis 4 Stunden.

Das Problem tritt immer auf wenn ich etwas mehr Inhalt auf meiner Seite geändert habe (so wie heute auch) Das würde bedeuten > wenn ich meine Seiten jeden Tag aktuell halten würde wären das im Monat satte 39 GB Traffic nur für diese Suchmaschine!

Mit dem deutschen Google hab ich keine Probleme, der kommt nur jeden zweiten Tag und macht vielleicht 10 MB insgesammt.

Mails an die Amerikaner haben nicht viel gebracht ausser der Bereitschaft das Problem zu lösen. Bringt aber nichts weil sich nichts ändert. Mal wollen sie die Log-Datein (haben sie bekommen), dann fehlt irgendwas in den Log's und zum guten Schluß fehlen die nötigen IP's (die aber in den Log's drin stehen)

Fürs erste hatte ich zwei IP-Blocker für Mambi installiert, kein Ergebnis weil Google trotzdem einen Weg findet.

Meine Frage
Gibt es einen Weg ausser der robots.txt diesem Spuck ein Ende zu machen? Soweit ich weiß würde ich mir auf diesem Weg auch den deutschen Spider aussperren (das wollte ich dann aber nicht)?

Falls jemand die Signatur übersieht.. geht um diese Seite > http://www.feel-linux.de

Im Moment 1399 Besucher (Sessions) von Google

Gruß
Jan

Nabend

@rennic
Das wäre natürlich eine Möglichkeit. Ich schaue grad wie ich das möglichst bequem machen kann, mal eben fast 100 Adressen einzutragen ist schon ein bissel Arbeit, aber ich hab da schon etwas im Auge.

@Salsabil
Ich hab mir die Adressen etwas genauer angesehen und kann das als Fehlerquelle ausschließen. Das sind alle IP's die zum Googlebot gehören und die gesammte Seite scannen. Dem Forum wird dabei genau die gleiche beachtung geschenkt wie allen anderen Links. Wenn es dieser Wurm wäre, würde er sich warscheinlich nur auf das Forum konzentrieren. Denke ich zumindest mal. *g* Das Forum ist aber zum Glück ein 2.0.13 als Komponente.

Ich arbeite mich grad mal in die genaue Konfiguration für die .htaccess ein und poste das Ergebnis dann hier.

Kennt sonst keiner dieses Problem?

Gruß
Jan

Wie schauts mit der robots.txt, oder reagiert Google da nicht drauf?

Ich glaube die passende Lösung ist gefunden...

@zecke
Den deutschen Google wollte ich mir schon erhalten. Der verhält sich zum Glück ganz anders und würde dann auch nicht mehr kommen.

Ich habe jetzt einfach einen kompletten Adressbereich gesperrt

Order allow, deny
Allow from all
Deny from 66.249.64.

Das sperrt den amerikanischen Google komplett aus. Zwar sind auch ein paar andere Adressen mir dabei (etwa 100) aber das ist mir fürs erste egal.

Man hätte es auch mit

RewriteCond %{REMOTE_ADDR} ^66\.249\.(1[8-9]|1[3-9]|[0-9]|2[0-5][0-9])\. [OR]

machen können, aber das ist mir jetzt zu viel Aufwand und bringt das gleiche Ergebnis.

Google hat noch vier Spider im Bereich 66.249.71.xx laufen die von mir aus weiter kommen dürfen. Die vier werden hoffentlich nicht so viel Traffic verbrauchen > oder sie werden auch gesperrt. *g*

Das sollte dafür sorgen das ich weiter bei google.com vertreten bin... aber die Spider in Schach halten.

Schon mal vielen Dank für eure Hilfe und das Ergebnis werde ich morgen schreiben.

Und wärend ich noch am tippen bin.... da habe ich auch schon satte 400 Gäste von der 66.249.71xx Es kann doch echt nicht wahr sein! *lol*

Gruß
Jan

Der Zwischenstand...

Ich hab jetzt alle Adressen von Google.com gesperrt und die angeblichen "Besucher" sind verschwunden. Laut meinen Log-Dateien benutzt das deutsche Google eine andere Kennung, und wie ich mal hoffe, auch eine andere IP als die amerikanischen Freunde.

Auf jeden Fall laufen jetzt schon einige tausend Anfragen unter "Forbidden" auf die aber keinen Traffic verursachen. Denke das jetzt endlich Ruhe herrscht. *g*

Gruß
Jan