Geocities; was tun?! – aber schnell!

[FrederickMeißner]

Das mit dem Post nicht sichtbar war IRONISCH gemeint!!

Hä?

Aber mal was anderes:

Archive.org saved die doch... wozu die Arbeit  Ist nicht böse gemeint, aber mir erschließt sich das gerade nicht... Ist da was anders? Bitte um Aufklärung!

[UdoWoy]

Kann schon mal die ersten 300 URL´s als Liste fertig stellen, dann direkt an Tuxie - oder wie?

[Mathias]

Archive.org saved die doch... wozu die Arbeit  Ist nicht böse gemeint, aber mir erschließt sich das gerade nicht... Ist da was anders? Bitte um Aufklärung!

Archive.org macht einiges, aber schafft sicher nicht alles. Du kannst dort URLS eintragen die sie sichern sollen, was zeigt, daß sie sicher nicht alles schaffen.

Und selbst bei den Seiten die dort eingetragen sind, ist nicht gesagt, daß Bilder oder gar Donloads verfügbar sind, was sogar meißtens nciht der Fall ist.

[simonsunnyboy]

K.A. wie ihr jetz tgenau vorgehen wollt, aber eine ausgesuchte Seite habe ich mal ganz fix in mein Blog übernommen, bevor Geocities dicht macht.

Unter http://www.final-memory.org/?page_id=848 findet ihr einen Mirror von http://www.geocities.com/yotisrx7/PowerPack.html, d.h. die Anleitungen zu den Spielen aus dem Atari Powerpack.

[Johannes]

Hallo zusammen,

bevor ihr euch alle händisch ans Werk macht, gebt mir ein bisschen Zeit, ich möchte einen Parser für Google schreiben...

Je nachdem wieviel Zeit ich investieren kann, sollte der bald so weit sein.

Johannes

[Johannes]

Hallo zusammen,

der Parser ist fertig und arbeitet fleissig. Leider musste ich eine zufällig Pause von einigen Sekunden zwischen den Aufrufen einbauen, da Google zu schnelle Abfragen erkennt und blockiert 

Er ist jetzt bei 200 URLs und dürfte noch einige Zeit Laufen. Im Laufe des Tages stelle ich dann die Datei ein, mit der Tuxie den Download anstossen kann...

Wir müssen nur noch klären, ob wir dein Einzellinks bei google vertrauen oder ob wir WGET (das Downloadtool) den Links in einer Seite folgen lassen.

Grüße
Johannes

[Johannes]

Kleiner Zwischenstand.

Google ist doof! 

1. Google hat mich ein paar mal gesperrt, aber ne neue IP Adresse hat geholfen

2. Man kann immer nur die Suchergebnisse 1-1000 abrufen. D.h. Treffer 1001 bis 6430 sind für uns unerreichbar.

Ich habe jetzt ca. 40 verschiedene Suchanfragen auf google losgelassen, die alle mit leicht abgewandelten suchbegriffen Ergebnisse liefern. Dann prüfe ich auf Duplikate und baue eine Liste mit URLs auf.

Wir liegen so immerhin bei ca. 4400 URLs. Ich werde noch einige Suchvarianten ausprobieren und hoffe noch mehr der 6400 Treffer auslesen zu können.

[UdoWoy]

ja, komme bei Google auch nur bis Seite1000, danach sperrt es mich auch - wodran liegt das?   

[Johannes]

Das liegt natürlich an Google, die kein Interesse haben, dass Bots ihren gesamten Index herunterladen - irgendwie logisch.

ich bin mittlerweile auf

5966 URLs gekommen  

@TUXIE: ich habe Dir die Liste mal angehängt. Es ist eine Gezippte Textdatei. Vielleicht kannst du schonmal einen Testlauf mit WGET machen. Ich würde vorschlagen alle verknüpften Images etc. mit runterzuladen und vielleicht die Linktiefe auf 1 oder 2 zu setzen. Außerdem sollte man wohl den Befehl einstellen, dass absolute Links zu relativen umgeformt werden, damit man innerhalb der Seiten auch browsen kann.

[tuxie]

Ähm wasn das für eine Datei? Bekomme sie nicht geöffnet!

[Johannes]

Hi Tuxie,

das ist eine ZIP Datei. bitte umbennen...

Johannes

[draconis1]

Ähm wasn das für eine Datei? Bekomme sie nicht geöffnet!

Acrobat kennt das Format auch nicht?! Oh Johannes war TURBOSCHNELL... 

[tuxie]

Hi,

also es läuft, mein Server leecht. Boah das kann dauern, aber sind schon am anfang einige dabei die nicht funktionieren. Ähm, entweder ich versuche ein script zu bauen wo das Sortiert wird und ich sehen kann was gelaufen ist und was nicht.. Oder wir lassen einfach laufen und schauen was kommt. Am ende können wir wohl eh nix weiter machen wenn seiten bereits down sind.

Boah hoffentlich reicht der Speicherplatz aus.

WGET macht das wunderbar, er baut auch die Links dann so um das sie funktionieen sollten.

[tuxie]

Für die die es Interessiert

wget -r -l 2 -k -L -p -i ../../files/googleURLs_TestRun.txt

[Arthur]

Für die die es Interessiert

wget -r -l 2 -k -L -p -i ../../files/googleURLs_TestRun.txt

@ Ingo, was sollen mir diese hyroglyphen sagen?

@ Johannes, ich hab es schneller gelöscht.

[tuxie]

@Arthur!!!

Für die die es Interessiert

[Arthur]

Hallo zusammen,

bevor ihr euch alle händisch ans Werk macht, gebt mir ein bisschen Zeit, ich möchte einen Parser für Google schreiben...

Je nachdem wieviel Zeit ich investieren kann, sollte der bald so weit sein.

Johannes

Hallo Johannes, wie hast Du jetzt diese Liste erstellt und unter welchem OS?

Gruß Arthur

[Mathias]

Also einmal ein dickes Dankeschön, an euch alle für die schnelle, kompetente und sinnvolle Zusammenarbeit!

Bzgl. Seiten die Down sind, könnte man die im Nachhinein noch ausgeben lassen und sehen, ob sich etwas davon noch im Google-Cache befindet?

[tuxie]

Also, ich glaube das echt eine Arbeit ist die nicht wirklich viel bringt! Das was er bis jetzt runder geladen hat ist nicht wirklich brauchbar!!

Sehrrrrrrrr viele Links tot!!

und es ist sehr viel bei, was mit Atari Garnix zu tun hat.

Ähm, das macht er momentan nicht, naja läuft jetzt schon einige Zeit und es ist noch kein Gigabyte zusammen gekommen. Aber sicher schon an die 1000 seiten durch!

[Arthur]

@Arthur!!!

Für die die es Interessiert

Jetzt gib mal nicht so an. Ausserdem hast ja Johannes Posts auch nicht alle richtig durchgelesen. Bisschen mehr Infos auch für Normalos...Danke.

Gruß Arthur