Extrem lange Ladezeiten im Forum

[Thorsten Otto]

Danke für die Tips.

fail2ban ist denke ich keine Option. Mein webserver läuft zwar unter linux, ist aber gemietet, und ich denke nicht daß ich da IP Filter ändern kann.

robots.txt habe ich schon versucht, scheint aber ignoriert zu werden. Wird auch in dem Artikel erwähnt.

Ich denke ich werde es mal über den UserAgent probieren, wobei ich immer noch ein bisschen Sorge habe, daß davon auch "normale" User betroffen sein könnten.

[ragnar76]

Ich denke ich werde es mal über den UserAgent probieren, wobei ich immer noch ein bisschen Sorge habe, daß davon auch "normale" User betroffen sein könnten.

Echte Crawler wie Google, Bing, usw. schicken einen echten Useragent mit. Auch OpenAI, ChatGPT usw. schicken einen echten UserAgent mit. Das sieht dann z.B. so aus:

Code: [Auswählen]

51.8.102.120 - - [24/Jan/2025:09:51:22 +0100] "GET /robots.txt HTTP/1.1" 404 3770 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"Das ist ziemlich eindeutig.

Etwas schwieriger wird es bei richtigen UserAgents aber alten UserAgents wie die hier:

Code: [Auswählen]

18.216.126.142 - - [24/Jan/2025:01:53:52 +0100] "GET /.git/config HTTP/1.1" 404 3774 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:70.0) Gecko/20100101 Firefox/70.0"

Code: [Auswählen]

191.101.157.196 - - [24/Jan/2025:06:20:44 +0100] "GET / HTTP/1.1" 301 547 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36"

Code: [Auswählen]

45.156.129.115 - - [24/Jan/2025:06:37:07 +0100] "GET / HTTP/1.1" 200 4591 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
Man kann in der Regel davon ausgehen dass kein echter User mehr Firefox 70.x oder Chrome 60 bzw. 74.x benutzt.

Heiße Kandidat ist auch immer python-requests/2.31.0

Ganz ausschließen kann man leider nicht dass man den einen oder anderen User aussperrt aber wenn man hin und wieder mal ein Auge in die Logs wirft passiert das eher seltener

[Lukas Frank]

Manch einer Surf ab und an mit einem alten Windows 7 PC oder einem sehr alten Linux oder alten Mac OSX Rechner auf denen seit Jahren (minimal 10!) kein aktueller Browser mehr lauffähig ist ...

[ragnar76]

Manch einer Surf ab und an mit einem alten Windows 7 PC oder einem sehr alten Linux oder alten Mac OSX Rechner auf denen seit Jahren (minimal 10!) kein aktueller Browser mehr lauffähig ist ...

Kann durchaus passieren ja. Da muss man halt abwägen, will ich die paar User mitnehmen oder möchte ich ein schnelles, erreichbares und sicheres System? Grundsätzlich kann der Server HTTP 403 forbidden oder eine Fehlerseite ausliefern die einem eine Fehlermeldung anzeigt.

[Thorsten Otto]

Echte Crawler wie Google, Bing, usw. schicken einen echten Useragent mit. Auch OpenAI, ChatGPT usw. schicken einen echten UserAgent mit. Das sieht dann z.B. so aus:

Ja, die halten sich auch an robots.txt, also kein Problem.

Man kann in der Regel davon ausgehen dass kein echter User mehr Firefox 70.x oder Chrome 60 bzw. 74.x benutzt.

Bei mir sehen die eher so aus:

Code: [Auswählen]

user-agent: Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36

Das  ist eigentlich recht aktuell. Ich hab auch ehrlich gesagt keine Lust, da alle paar Wochen an den Einstellungen rumzudoktern. Dann baue ich mir lieber ein cron-script, das immer mal wieder das ganze cache-directory löscht. Ist ja nicht so daß die Seite andauernd von zig Besuchern gleichzeitig kontaktiert wird , die durch die Bots-Requests ausgebremst werden