Allgemeines > Atari - Talk

st-computer.net

(1/5) > >>

MJaap:
Auch wenn die Chance gering ist, frage ich mal in die Runde: Hat irgendjemand die Website der st-computer mal "gesaugt"? Thomas hat leider kein Backup der Seite mehr, irgendwann wechselte die Domain wohl den Besitzer, der sie über eine Robots.txt gegen eine Archivierung gesperrt hat. Die alte Website ist daher auch auf archive.org nicht verfügbar.

MJaap:
Kann inzwischen trotz robots.txt auf die st-c-Website zugreifen - und sie ist fast vollständig archiviert! Ich werde mal die Inhalte ziehen und in einer neuen Form wieder online bringen :)

Mathias:
Wie das? Muß ich mir jetzt Sorgen machen über die Sinnhaftigkeit von robots.txt, oder war es eine privater dump oder sowas?

MJaap:

--- Zitat von: Mathias am Mi 26.08.2015, 19:00:20 ---Wie das? Muß ich mir jetzt Sorgen machen über die Sinnhaftigkeit von robots.txt, oder war es eine privater dump oder sowas?

--- Ende Zitat ---

Nein, st-computer.net wurde irgendwann von einem Domain Squatter übernommen, der wohl die robots.txt gesetzt hat. Man kann aber die letzte archivierte Version der Seite per Direktlink aufrufen. Keine Ahnung, ob archive.org da inkonsequent ist (in bestimmten Fällen kann dies auch problematisch sein). Es ist kein privater Dump, da offenbar niemand eine Kopie der Seite hat, einige Dateien und Seiten wurden aurch nicht vom Crawler des Internet Archives erfasst.

mfro:

--- Zitat von: Mathias am Mi 26.08.2015, 19:00:20 ---Wie das? Muß ich mir jetzt Sorgen machen über die Sinnhaftigkeit von robots.txt, oder war es eine privater dump oder sowas?

--- Ende Zitat ---

Irgendeine Sperre in robots.txt heißt keinesfalls, daß ein Crawler die Seite nicht lesen _kann_ sondern lediglich, daß er sie nicht lesen _soll_.

Daran kann man sich halten oder auch nicht.

Wenn Du eine Seite nicht gelesen haben willst, solltest Du sie nicht ins Netz stellen.

Navigation

[0] Themen-Index

[#] Nächste Seite