Allgemeines > atari-home.de
Extrem lange Ladezeiten im Forum
Thorsten Otto:
Danke für die Tips.
fail2ban ist denke ich keine Option. Mein webserver läuft zwar unter linux, ist aber gemietet, und ich denke nicht daß ich da IP Filter ändern kann.
robots.txt habe ich schon versucht, scheint aber ignoriert zu werden. Wird auch in dem Artikel erwähnt.
Ich denke ich werde es mal über den UserAgent probieren, wobei ich immer noch ein bisschen Sorge habe, daß davon auch "normale" User betroffen sein könnten.
ragnar76:
--- Zitat von: Thorsten Otto am Fr 24.01.2025, 08:21:57 ---Ich denke ich werde es mal über den UserAgent probieren, wobei ich immer noch ein bisschen Sorge habe, daß davon auch "normale" User betroffen sein könnten.
--- Ende Zitat ---
Echte Crawler wie Google, Bing, usw. schicken einen echten Useragent mit. Auch OpenAI, ChatGPT usw. schicken einen echten UserAgent mit. Das sieht dann z.B. so aus:
--- Code: ---51.8.102.120 - - [24/Jan/2025:09:51:22 +0100] "GET /robots.txt HTTP/1.1" 404 3770 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot"
--- Ende Code ---
Das ist ziemlich eindeutig.
Etwas schwieriger wird es bei richtigen UserAgents aber alten UserAgents wie die hier:
--- Code: ---18.216.126.142 - - [24/Jan/2025:01:53:52 +0100] "GET /.git/config HTTP/1.1" 404 3774 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:70.0) Gecko/20100101 Firefox/70.0"
--- Ende Code ---
--- Code: ---191.101.157.196 - - [24/Jan/2025:06:20:44 +0100] "GET / HTTP/1.1" 301 547 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36"
--- Ende Code ---
--- Code: ---45.156.129.115 - - [24/Jan/2025:06:37:07 +0100] "GET / HTTP/1.1" 200 4591 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"
--- Ende Code ---
Man kann in der Regel davon ausgehen dass kein echter User mehr Firefox 70.x oder Chrome 60 bzw. 74.x benutzt.
Heiße Kandidat ist auch immer python-requests/2.31.0
Ganz ausschließen kann man leider nicht dass man den einen oder anderen User aussperrt aber wenn man hin und wieder mal ein Auge in die Logs wirft passiert das eher seltener
Lukas Frank:
Manch einer Surf ab und an mit einem alten Windows 7 PC oder einem sehr alten Linux oder alten Mac OSX Rechner auf denen seit Jahren (minimal 10!) kein aktueller Browser mehr lauffähig ist ...
ragnar76:
--- Zitat von: Lukas Frank am Fr 24.01.2025, 13:06:46 ---Manch einer Surf ab und an mit einem alten Windows 7 PC oder einem sehr alten Linux oder alten Mac OSX Rechner auf denen seit Jahren (minimal 10!) kein aktueller Browser mehr lauffähig ist ...
--- Ende Zitat ---
Kann durchaus passieren ja. Da muss man halt abwägen, will ich die paar User mitnehmen oder möchte ich ein schnelles, erreichbares und sicheres System? Grundsätzlich kann der Server HTTP 403 forbidden oder eine Fehlerseite ausliefern die einem eine Fehlermeldung anzeigt.
Thorsten Otto:
--- Zitat von: ragnar76 am Fr 24.01.2025, 12:53:54 ---Echte Crawler wie Google, Bing, usw. schicken einen echten Useragent mit. Auch OpenAI, ChatGPT usw. schicken einen echten UserAgent mit. Das sieht dann z.B. so aus:
--- Ende Zitat ---
Ja, die halten sich auch an robots.txt, also kein Problem.
--- Zitat ---Man kann in der Regel davon ausgehen dass kein echter User mehr Firefox 70.x oder Chrome 60 bzw. 74.x benutzt.
--- Ende Zitat ---
Bei mir sehen die eher so aus:
--- Code: ---user-agent: Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36
--- Ende Code ---
Das ist eigentlich recht aktuell. Ich hab auch ehrlich gesagt keine Lust, da alle paar Wochen an den Einstellungen rumzudoktern. Dann baue ich mir lieber ein cron-script, das immer mal wieder das ganze cache-directory löscht. Ist ja nicht so daß die Seite andauernd von zig Besuchern gleichzeitig kontaktiert wird , die durch die Bots-Requests ausgebremst werden ;)
Navigation
[0] Themen-Index
[*] Vorherige Sete
Zur normalen Ansicht wechseln