Extrem lange Ladezeiten im Forum

[czietz]

Ich beobachte sehr lange Ladezeiten (30 Sekunden !) hier bei forum.atari-home.de. Ist das bei Euch auch so? Falls ja, magst Du bitte mal nach dem Server sehen, @yalsi ?

[fichten]

bei mir gerade pfeilschnell 

[czietz]

Der übliche Effekt. Ich hatte 15 Minuten gewartet, ob es nur ein kurzer Schluckauf war. Dann hier geschrieben. Fünf Minuten später war der Fehler weg.  Jetzt lädt das Forum auch bei mir wieder schnell.

[Wosch]

Hab ich in letzter Zeit auch immer wieder mal.
Aber auch andere Webseiten wie GMX oder T-Online hängen z.Zt. manchmal.
Ihr könnt ja mal testen ob GMX funktioniert wenn Atari-Home hängt
Gruß
Wolfgang

[yalsi]

Das hat mehrere Ursachen.

Wir stehen einerseits unter Dauerbeschuss von Bots, die versuchen, Wordpress zu hacken, sowohl von atari-home.de also auch von classic-computing.de, das in seiner VM auf dem gleichen Virtualisierungshost läuft. Andererseits ist eben dieser VHost nicht mehr der jüngste und der schnellste war er auch nie.

Abhilfe ist in Sicht: Wir bereiten gerade einen neuen Host vor und werden in absehbarer Zeit atari-home.de dorthin umziehen. Die Maschine hat deutlich mehr CPU Power und ordentlich RAM, das werden wir deutlich merken.

[Nervengift]

Mit Ampere Altra CPU?

[ragnar76]

Wir stehen einerseits unter Dauerbeschuss von Bots, die versuchen, Wordpress zu hacken, sowohl von atari-home.de also auch von classic-computing.de,

Bis ihr den dickeren Server in Betrieb nehmt könnt ihr euch mit Apache Bad Bots (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker) und fail2ban (https://github.com/fail2ban/fail2ban) behelfen. Auch danach sind das 2 gute und hilfreiche Tools.

Ich könnte auch noch auf der Arbeit fragen ob ich euch einen AWS-CDN bereitstellen kann.

[yalsi]

Wir stehen einerseits unter Dauerbeschuss von Bots, die versuchen, Wordpress zu hacken, sowohl von atari-home.de also auch von classic-computing.de,

Bis ihr den dickeren Server in Betrieb nehmt könnt ihr euch mit Apache Bad Bots (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker) und fail2ban (https://github.com/fail2ban/fail2ban) behelfen. Auch danach sind das 2 gute und hilfreiche Tools.

Ich könnte auch noch auf der Arbeit fragen ob ich euch einen AWS-CDN bereitstellen kann.

fail2ban läuft bereits und auch ein paar andere Tools und Sperrlisten auch. Ich habe ein paar Regeln verschärft, im Moment ist die Last wieder geringer.

[ste1040fan]

Gestern nachmittag waren die Ladezeiten leider nicht mehr nur extrem. Egal welcher Browser und welches Gerät: Irgendwann kam bei mir immer die Mitteilung "timeout". Heute morgen geht die Website wieder. Hatte das auch noch den oben beschriebenen Hintergrund?
Es ist jedenfalls ziemlich ärgerlich, wenn die Leser der STC Bescheid geben sollen, dass sie das neue Heft erhalten haben, und können das Forum gar nicht erreichen.
Da hoffen wir doch alle auf den neuen Server.

[yalsi]

Ja, wir waren gestern tatsächlich einige Stunden offline. An der Ursache forsche ich noch…

[ste1040fan]

Ja, wir waren gestern tatsächlich einige Stunden offline. An der Ursache forsche ich noch…

Dann viel Erfolg bei der Suche!

[yalsi]

Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben. Ich behalte das in den nächsten Tagen verschärft im Auge.

[ragnar76]

Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben.

Was passiert denn genau und was steht in den log files?

[dbsys]

Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben. Ich behalte das in den nächsten Tagen verschärft im Auge.

Vielen Dank! Das Forum lädt wieder schnell und flüssig. Das fühlt sich sehr gut an!

[ste1040fan]

Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben. Ich behalte das in den nächsten Tagen verschärft im Auge.

Vielen Dank! Das Forum lädt wieder schnell und flüssig. Das fühlt sich sehr gut an!

Das ist auch mein Eindruck. Vielen Dank!

[yalsi]

Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben.

Was passiert denn genau und was steht in den log files?

Das kannst Du hier nachlesen: https://www.heise.de/news/KI-Bots-legen-Linux-News-Seite-und-weitere-lahm-10251997.html... die KI Bots (bei uns Amazon und Bing) haben uns als Quelle entdeckt.

[Thorsten Otto]

Wie verhindert man denn sowas? Bzw, wie identifiziert man diese KI-Bots, wenn sie sich nicht zu erkennen geben? Scheint mein diskbrowser Service ist auch davon betroffen, ich musste letztens das cache-directory komplett löschen, weil sich dort mehr als 80GB angesammelt hatten.

[yalsi]

Wie verhindert man denn sowas? Bzw, wie identifiziert man diese KI-Bots, wenn sie sich nicht zu erkennen geben? Scheint mein diskbrowser Service ist auch davon betroffen, ich musste letztens das cache-directory komplett löschen, weil sich dort mehr als 80GB angesammelt hatten.

Unter Linux hilft Dir fail2ban: Ein Filter sucht in der Logfile des Webservers kontinuierlich nach dem Browserstring des Bots und generiert bei einem Treffer eine temporäre IPfilter Regel, die diese Adresse für eine definierbare Zeit aussperrt.

[Thorsten Otto]

Und wonach genau sucht er da? Ich möchte nicht User aussperren nur weil sie zufällig den gleichen Browser verwenden.

[ragnar76]

Und wonach genau sucht er da? Ich möchte nicht User aussperren nur weil sie zufällig den gleichen Browser verwenden.

Da gibts mehrere Ansätze:

- fail2ban wurde ja schon besprochen

- Einige Bots respektieren die Einstellungen in der Datei robots.txt . Dort steht drin was die abgrasen dürfen und was nicht (https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=de)

- Relativ einfach und Effektiv kann man die Bots per UserAgent aussperren, dafür gibt es spezielle Filterlisten (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/tree/master)

- Wenn es einem wichtig ist dass die Webseite auf jeden fall erreichbar ist kann einen CDN davorschalten. Cloudflare oder AWS (nutzen wir auf der Arbeit) haben spezielle Optionen dafür die sich dass dan aber gut bezahlen lassen.

- mod_throttle (bremst die Downloadgeschwindigkeit insg. oder per IP) und mod_evasive (intrusion detection und dos/ddos Schutz) hab ich nie probiert