atari-home.de - Foren
Allgemeines => atari-home.de => Thema gestartet von: czietz am Di 19.11.2024, 17:47:57
-
Ich beobachte sehr lange Ladezeiten (30 Sekunden !) hier bei forum.atari-home.de. Ist das bei Euch auch so? Falls ja, magst Du bitte mal nach dem Server sehen, @yalsi ?
-
bei mir gerade pfeilschnell ;)
-
Der übliche Effekt. Ich hatte 15 Minuten gewartet, ob es nur ein kurzer Schluckauf war. Dann hier geschrieben. Fünf Minuten später war der Fehler weg. ::) Jetzt lädt das Forum auch bei mir wieder schnell.
-
Hab ich in letzter Zeit auch immer wieder mal.
Aber auch andere Webseiten wie GMX oder T-Online hängen z.Zt. manchmal.
Ihr könnt ja mal testen ob GMX funktioniert wenn Atari-Home hängt
Gruß
Wolfgang
-
Das hat mehrere Ursachen.
Wir stehen einerseits unter Dauerbeschuss von Bots, die versuchen, Wordpress zu hacken, sowohl von atari-home.de also auch von classic-computing.de, das in seiner VM auf dem gleichen Virtualisierungshost läuft. Andererseits ist eben dieser VHost nicht mehr der jüngste und der schnellste war er auch nie.
Abhilfe ist in Sicht: Wir bereiten gerade einen neuen Host vor und werden in absehbarer Zeit atari-home.de dorthin umziehen. Die Maschine hat deutlich mehr CPU Power und ordentlich RAM, das werden wir deutlich merken.
-
Mit Ampere Altra CPU? 8)
-
Wir stehen einerseits unter Dauerbeschuss von Bots, die versuchen, Wordpress zu hacken, sowohl von atari-home.de also auch von classic-computing.de,
Bis ihr den dickeren Server in Betrieb nehmt könnt ihr euch mit Apache Bad Bots (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker) und fail2ban (https://github.com/fail2ban/fail2ban) behelfen. Auch danach sind das 2 gute und hilfreiche Tools.
Ich könnte auch noch auf der Arbeit fragen ob ich euch einen AWS-CDN bereitstellen kann.
-
Wir stehen einerseits unter Dauerbeschuss von Bots, die versuchen, Wordpress zu hacken, sowohl von atari-home.de also auch von classic-computing.de,
Bis ihr den dickeren Server in Betrieb nehmt könnt ihr euch mit Apache Bad Bots (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker) und fail2ban (https://github.com/fail2ban/fail2ban) behelfen. Auch danach sind das 2 gute und hilfreiche Tools.
Ich könnte auch noch auf der Arbeit fragen ob ich euch einen AWS-CDN bereitstellen kann.
fail2ban läuft bereits und auch ein paar andere Tools und Sperrlisten auch. Ich habe ein paar Regeln verschärft, im Moment ist die Last wieder geringer.
-
Gestern nachmittag waren die Ladezeiten leider nicht mehr nur extrem. Egal welcher Browser und welches Gerät: Irgendwann kam bei mir immer die Mitteilung "timeout". Heute morgen geht die Website wieder. Hatte das auch noch den oben beschriebenen Hintergrund?
Es ist jedenfalls ziemlich ärgerlich, wenn die Leser der STC Bescheid geben sollen, dass sie das neue Heft erhalten haben, und können das Forum gar nicht erreichen.
Da hoffen wir doch alle auf den neuen Server.
-
Ja, wir waren gestern tatsächlich einige Stunden offline. An der Ursache forsche ich noch…
-
Ja, wir waren gestern tatsächlich einige Stunden offline. An der Ursache forsche ich noch…
Dann viel Erfolg bei der Suche!
-
Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben. Ich behalte das in den nächsten Tagen verschärft im Auge.
-
Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben.
Was passiert denn genau und was steht in den log files?
-
Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben. Ich behalte das in den nächsten Tagen verschärft im Auge.
Vielen Dank! Das Forum lädt wieder schnell und flüssig. Das fühlt sich sehr gut an!
-
Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben. Ich behalte das in den nächsten Tagen verschärft im Auge.
Vielen Dank! Das Forum lädt wieder schnell und flüssig. Das fühlt sich sehr gut an!
Das ist auch mein Eindruck. Vielen Dank! ;)
-
Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben.
Was passiert denn genau und was steht in den log files?
Das kannst Du hier nachlesen: https://www.heise.de/news/KI-Bots-legen-Linux-News-Seite-und-weitere-lahm-10251997.html (https://www.heise.de/news/KI-Bots-legen-Linux-News-Seite-und-weitere-lahm-10251997.html)... die KI Bots (bei uns Amazon und Bing) haben uns als Quelle entdeckt.
-
Wie verhindert man denn sowas? Bzw, wie identifiziert man diese KI-Bots, wenn sie sich nicht zu erkennen geben? Scheint mein diskbrowser Service ist auch davon betroffen, ich musste letztens das cache-directory komplett löschen, weil sich dort mehr als 80GB angesammelt hatten.
-
Wie verhindert man denn sowas? Bzw, wie identifiziert man diese KI-Bots, wenn sie sich nicht zu erkennen geben? Scheint mein diskbrowser Service ist auch davon betroffen, ich musste letztens das cache-directory komplett löschen, weil sich dort mehr als 80GB angesammelt hatten.
Unter Linux hilft Dir fail2ban: Ein Filter sucht in der Logfile des Webservers kontinuierlich nach dem Browserstring des Bots und generiert bei einem Treffer eine temporäre IPfilter Regel, die diese Adresse für eine definierbare Zeit aussperrt.
-
Und wonach genau sucht er da? Ich möchte nicht User aussperren nur weil sie zufällig den gleichen Browser verwenden.
-
Und wonach genau sucht er da? Ich möchte nicht User aussperren nur weil sie zufällig den gleichen Browser verwenden.
Da gibts mehrere Ansätze:
- fail2ban wurde ja schon besprochen
- Einige Bots respektieren die Einstellungen in der Datei robots.txt . Dort steht drin was die abgrasen dürfen und was nicht (https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=de)
- Relativ einfach und Effektiv kann man die Bots per UserAgent aussperren, dafür gibt es spezielle Filterlisten (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/tree/master)
- Wenn es einem wichtig ist dass die Webseite auf jeden fall erreichbar ist kann einen CDN davorschalten. Cloudflare oder AWS (nutzen wir auf der Arbeit) haben spezielle Optionen dafür die sich dass dan aber gut bezahlen lassen.
- mod_throttle (bremst die Downloadgeschwindigkeit insg. oder per IP) und mod_evasive (intrusion detection und dos/ddos Schutz) hab ich nie probiert
-
Danke für die Tips.
fail2ban ist denke ich keine Option. Mein webserver läuft zwar unter linux, ist aber gemietet, und ich denke nicht daß ich da IP Filter ändern kann.
robots.txt habe ich schon versucht, scheint aber ignoriert zu werden. Wird auch in dem Artikel erwähnt.
Ich denke ich werde es mal über den UserAgent probieren, wobei ich immer noch ein bisschen Sorge habe, daß davon auch "normale" User betroffen sein könnten.
-
Ich denke ich werde es mal über den UserAgent probieren, wobei ich immer noch ein bisschen Sorge habe, daß davon auch "normale" User betroffen sein könnten.
Echte Crawler wie Google, Bing, usw. schicken einen echten Useragent mit. Auch OpenAI, ChatGPT usw. schicken einen echten UserAgent mit. Das sieht dann z.B. so aus:
51.8.102.120 - - [24/Jan/2025:09:51:22 +0100] "GET /robots.txt HTTP/1.1" 404 3770 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"Das ist ziemlich eindeutig.
Etwas schwieriger wird es bei richtigen UserAgents aber alten UserAgents wie die hier:
18.216.126.142 - - [24/Jan/2025:01:53:52 +0100] "GET /.git/config HTTP/1.1" 404 3774 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:70.0) Gecko/20100101 Firefox/70.0"
191.101.157.196 - - [24/Jan/2025:06:20:44 +0100] "GET / HTTP/1.1" 301 547 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36"
45.156.129.115 - - [24/Jan/2025:06:37:07 +0100] "GET / HTTP/1.1" 200 4591 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
Man kann in der Regel davon ausgehen dass kein echter User mehr Firefox 70.x oder Chrome 60 bzw. 74.x benutzt.
Heiße Kandidat ist auch immer python-requests/2.31.0
Ganz ausschließen kann man leider nicht dass man den einen oder anderen User aussperrt aber wenn man hin und wieder mal ein Auge in die Logs wirft passiert das eher seltener
-
Manch einer Surf ab und an mit einem alten Windows 7 PC oder einem sehr alten Linux oder alten Mac OSX Rechner auf denen seit Jahren (minimal 10!) kein aktueller Browser mehr lauffähig ist ...
-
Manch einer Surf ab und an mit einem alten Windows 7 PC oder einem sehr alten Linux oder alten Mac OSX Rechner auf denen seit Jahren (minimal 10!) kein aktueller Browser mehr lauffähig ist ...
Kann durchaus passieren ja. Da muss man halt abwägen, will ich die paar User mitnehmen oder möchte ich ein schnelles, erreichbares und sicheres System? Grundsätzlich kann der Server HTTP 403 forbidden oder eine Fehlerseite ausliefern die einem eine Fehlermeldung anzeigt.
-
Echte Crawler wie Google, Bing, usw. schicken einen echten Useragent mit. Auch OpenAI, ChatGPT usw. schicken einen echten UserAgent mit. Das sieht dann z.B. so aus:
Ja, die halten sich auch an robots.txt, also kein Problem.
Man kann in der Regel davon ausgehen dass kein echter User mehr Firefox 70.x oder Chrome 60 bzw. 74.x benutzt.
Bei mir sehen die eher so aus:
user-agent: Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36
Das ist eigentlich recht aktuell. Ich hab auch ehrlich gesagt keine Lust, da alle paar Wochen an den Einstellungen rumzudoktern. Dann baue ich mir lieber ein cron-script, das immer mal wieder das ganze cache-directory löscht. Ist ja nicht so daß die Seite andauernd von zig Besuchern gleichzeitig kontaktiert wird , die durch die Bots-Requests ausgebremst werden ;)