Thema: Probleme durch bot-Flut

[nemesis]

Heute Abend wurde unser "Besucherrekord" gebrochen:

EDIT: Ui, seh ich jetzt erst...achtet mal auf das "aktuelle" Datum auf folgendem Bild...whoaa...?






Wie man sieht, waren die "Gäste" fast ausschließlich msn-, yahoo- und google-bots. Die Performance des Forums litt zwangsläufig darunter, allerdings war es etwas seltsam:

-Während dieser Zeit war es mir nicht möglich, etwas zu posten - es zeigte immer "du kannst nicht so schnell nach...blablabla...bitte warte..." an.

-Bereits gelesene Beiträge wurden trotzdem noch als "neu" angezeigt.

-Neuanmeldung "Howlingmad" hat ein völlig falsches Anmeldedatum im Profil (EDIT: entspricht dem "aktuellen Datum" im oberen Bild). Seine Freischaltung überlagerte sich wohl mit dem Forums-"Schluckauf". Und sein einziger Beitrag (thx @ Jens) wird über sein Profil angezeigt (im "Stirb Langsam 4.0"-Thread) - ist aber nicht im Thread drin...

Nanü?


EDIT: Im Moment sind auch wieder 87 "Gäste" drin. Ist heute Welt-bot-Tag???

[Bloodsurfer]

Eieiei Wenn das so weiter geht, wäre es tatsächlich ein Grund die Bots auszusperren... Was aber wiederrum uns die Suchergebnisse nehmen würde. Hmm... Vielleicht legt sich das auch mit dem neuen Server.

[nemesis]

Momentan sind es "nur" 66 "Nutzer". Etwa die Hälfte von diesen bots (und das war bei obigem Fall auch so) schimpft sich "Twiceler". Auf der entsprechenden Seite steht nur:
"Twiceler is an experimental robot. Please contact akers@cuill.com if you have any problems.

Twiceler should obey robots.txt."

http://www.janetsystems.co.uk/Articles/WebRobots/tabid/82/itemid/693/Default.aspx

Geht das Forum in die Knie wegen (unter anderem) so 'ner Schaise... :?

[Elena Marcos]

"Da siehst Dich Bots ?"

(oder wie hieß das ?)

[Bloodsurfer]

Momentan sind es "nur" 66 "Nutzer". Etwa die Hälfte von diesen bots (und das war bei obigem Fall auch so) schimpft sich "Twiceler". Auf der entsprechenden Seite steht nur:
"Twiceler is an experimental robot. Please contact akers@cuill.com if you have any problems.

Twiceler should obey robots.txt."

Aha, d.h. also dass wir die Bots theroretisch von bestimmten Bereichen ausschließen könnten, wenn es nötig sein sollte...

[Bloodsurfer]

Ich hab übrigens mittlerweile mal Howlingmads Anmeldedatum von Hand in der Datenbank abgeändert (auf einen Zeitpunkt ein paar Sekunden vor seinem ersten Posting damit es ungefähr passt). Jetzt ist wenigstens unsere Statistik nicht mehr so verfälscht.

Das Datum bei  den "Most Online Users" ändere ich auch noch, allerdings muss ich erstmal rausfinden wo das in der DB überhaupt steht, hab es bisher noch nicht gefunden...

[ap]

kann man nicht doch irgendwie verhinden das sich solch eBots überhaupt anmelden ??? Beispiel studivz.net da muß ich jedesmal so ne Zahlencombi eingeben bevor ich mailen kann. Haben wir sowas hie rauch, zumindest zu rAnmeldung ?

[Bloodsurfer]

Sowas hatten wir schon lange Zeit auch auf dem alten Server, und hier sowieso.
Vielleicht ist es dir nicht aufgefallen, aber seit dem Umstieg auf SMF hatten wir keine einzige Botanmeldung mehr
phpBB ist halt einfach die verbreitetste Forums-Software (trotz ihrer ständigen Sicherheitsprobleme...) und schon allein deswegen das Hauptangriffsziel aller Bots... Vielleicht wird sich das noch ändern, aber im Moment bin ich mit der Situation sehr zufrieden.

[ap]

Vielleicht ist es dir nicht aufgefallen, aber seit dem Umstieg auf SMF hatten wir keine einzige Botanmeldung mehr

coooool !  8) nein war mir noch nicht aufgefallen !! 

[Bloodsurfer]

Das Datum bei  den "Most Online Users" ändere ich auch noch, allerdings muss ich erstmal rausfinden wo das in der DB überhaupt steht, hab es bisher noch nicht gefunden...

So, das ist jetzt auch gefixt. Hab das ganze mal auf einen sinnvollen Wert resettet.

[Bloodsurfer]

Also im Moment werden wir ja wieder von einer Bot-/Spiderflut überrannt
Vorgestern 241 Stück, und derartige Zahlen zu bestimmten Uhrzeiten (meist um die Gegend zwischen 18 und 19 Uhr) sind im Moment fast Dauerzustand - meistens übrigens von Yahoo ausgehend...
Naja, bleibt lobend zu erwähnen, dass es meinen Server nicht zu stören scheint, der lässt sich nicht so einfach aus dem Takt bringen. Wenn ich an den alten denke, der wäre jetzt schon wieder platt

[Flightcrank]

Naja, bleibt lobend zu erwähnen, dass es meinen Server nicht zu stören scheint, der lässt sich nicht so einfach aus dem Takt bringen. Wenn ich an den alten denke, der wäre jetzt schon wieder platt

Da macht sich unsere Investition in den größeren Server wieder mal bezahlt!