Allgemeines > Atari - Talk
Geocities; was tun?! – aber schnell!
Johannes:
Hallo zusammen,
der Parser ist fertig und arbeitet fleissig. Leider musste ich eine zufällig Pause von einigen Sekunden zwischen den Aufrufen einbauen, da Google zu schnelle Abfragen erkennt und blockiert :o
Er ist jetzt bei 200 URLs und dürfte noch einige Zeit Laufen. Im Laufe des Tages stelle ich dann die Datei ein, mit der Tuxie den Download anstossen kann...
Wir müssen nur noch klären, ob wir dein Einzellinks bei google vertrauen oder ob wir WGET (das Downloadtool) den Links in einer Seite folgen lassen.
Grüße
Johannes
Johannes:
Kleiner Zwischenstand.
Google ist doof! ;D
1. Google hat mich ein paar mal gesperrt, aber ne neue IP Adresse hat geholfen
2. Man kann immer nur die Suchergebnisse 1-1000 abrufen. D.h. Treffer 1001 bis 6430 sind für uns unerreichbar.
Ich habe jetzt ca. 40 verschiedene Suchanfragen auf google losgelassen, die alle mit leicht abgewandelten suchbegriffen Ergebnisse liefern. Dann prüfe ich auf Duplikate und baue eine Liste mit URLs auf.
Wir liegen so immerhin bei ca. 4400 URLs. Ich werde noch einige Suchvarianten ausprobieren und hoffe noch mehr der 6400 Treffer auslesen zu können.
UdoWoy:
ja, komme bei Google auch nur bis Seite1000, danach sperrt es mich auch - wodran liegt das? ???
Johannes:
Das liegt natürlich an Google, die kein Interesse haben, dass Bots ihren gesamten Index herunterladen - irgendwie logisch.
ich bin mittlerweile auf
5966 URLs gekommen ;D
@TUXIE: ich habe Dir die Liste mal angehängt. Es ist eine Gezippte Textdatei. Vielleicht kannst du schonmal einen Testlauf mit WGET machen. Ich würde vorschlagen alle verknüpften Images etc. mit runterzuladen und vielleicht die Linktiefe auf 1 oder 2 zu setzen. Außerdem sollte man wohl den Befehl einstellen, dass absolute Links zu relativen umgeformt werden, damit man innerhalb der Seiten auch browsen kann.
tuxie:
Ähm wasn das für eine Datei? Bekomme sie nicht geöffnet!
Navigation
[0] Themen-Index
[#] Nächste Seite
[*] Vorherige Sete
Zur normalen Ansicht wechseln