Allgemeines > atari-home.de

Extrem lange Ladezeiten im Forum

<< < (4/5) > >>

yalsi:

--- Zitat von: ragnar76 am Mo 20.01.2025, 23:30:27 ---
--- Zitat von: yalsi am Mo 20.01.2025, 22:30:57 ---Nachdem wir heute wieder wegen Überlastung geschlossen hatten, habe ich jetzt weitere Filter aktiviert und hoffe, dass wir die Lastverursacher (Bots) damit ausgesperrt haben.

--- Ende Zitat ---
Was passiert denn genau und was steht in den log files?

--- Ende Zitat ---
Das kannst Du hier nachlesen: https://www.heise.de/news/KI-Bots-legen-Linux-News-Seite-und-weitere-lahm-10251997.html... die KI Bots (bei uns Amazon und Bing) haben uns als Quelle entdeckt.

Thorsten Otto:
Wie verhindert man denn sowas? Bzw, wie identifiziert man diese KI-Bots, wenn sie sich nicht zu erkennen geben? Scheint mein diskbrowser Service ist auch davon betroffen, ich musste letztens das cache-directory komplett löschen, weil sich dort mehr als 80GB angesammelt hatten.

yalsi:

--- Zitat von: Thorsten Otto am Do 23.01.2025, 04:17:14 ---Wie verhindert man denn sowas? Bzw, wie identifiziert man diese KI-Bots, wenn sie sich nicht zu erkennen geben? Scheint mein diskbrowser Service ist auch davon betroffen, ich musste letztens das cache-directory komplett löschen, weil sich dort mehr als 80GB angesammelt hatten.

--- Ende Zitat ---
Unter Linux hilft Dir fail2ban: Ein Filter sucht in der Logfile des Webservers kontinuierlich nach dem Browserstring des Bots und generiert bei einem Treffer eine temporäre IPfilter Regel, die diese Adresse für eine definierbare Zeit aussperrt.

Thorsten Otto:
Und wonach genau sucht er da? Ich möchte nicht User aussperren nur weil sie zufällig den gleichen Browser verwenden.

ragnar76:

--- Zitat von: Thorsten Otto am Do 23.01.2025, 15:45:45 ---Und wonach genau sucht er da? Ich möchte nicht User aussperren nur weil sie zufällig den gleichen Browser verwenden.

--- Ende Zitat ---
Da gibts mehrere Ansätze:

- fail2ban wurde ja schon besprochen

- Einige Bots respektieren die Einstellungen in der Datei robots.txt . Dort steht drin was die abgrasen dürfen und was nicht (https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=de)

- Relativ einfach und Effektiv kann man die Bots per UserAgent aussperren, dafür gibt es spezielle Filterlisten (https://github.com/mitchellkrogza/apache-ultimate-bad-bot-blocker/tree/master)

- Wenn es einem wichtig ist dass die Webseite auf jeden fall erreichbar ist kann einen CDN davorschalten. Cloudflare oder AWS (nutzen wir auf der Arbeit) haben spezielle Optionen dafür die sich dass dan aber gut bezahlen lassen.

- mod_throttle (bremst die Downloadgeschwindigkeit insg. oder per IP) und mod_evasive (intrusion detection und dos/ddos Schutz) hab ich nie probiert

Navigation

[0] Themen-Index

[#] Nächste Seite

[*] Vorherige Sete