Follow

Na, @eazy , willst du von dem Crawl den ich gerade für @fraunora mache was abhaben? ;-)

@dirkprimbs Hab lange keinen mehr abgeglichen. Wenn der irgendwo rumliegt... :D

@eazy gestern ist mir nach einigen Stunden crawlen erst mal der Rechner abgeraucht. Ich melde mich :-)

@eazy Zwischenstand: Fehler im Crawler gefunden, noch mal Anlauf genommen. Leider gibt einem iTunes ja genau gar keinen Hinweis in welcher Sprache die im jeweiligen Store gelisteten Podcasts sind (und es gibt weit mehr nicht-Deutsche Listungen als Deutsche). Ich mache momentan also folgendes:
1) Deutschen Store crawlen,
2) Für jeden Eintrag eine Anfrage an die itunes lookup API feuern um den Feed zu bekommen
3) Feed downloaden (ARG)
4) Language Tag auswerten. Yey!
Ich krieg Plaque!

@eazy ich bin seit Samstag Abend nicht mehr am Rechner gewesen und hoffe heute Abend dort einen fertigen dump der Deutschen Podcasts zu haben... Vielleicht zeigt der Rechner aber auch schon seit 38 Stunden eine dekorative Fehlermeldung :-)

@eazy juhu! Der Rechner... crawlt noch...
Erkenntnis des Tages: Praktisch alle Podcasts des iTunes Store sind auch in Deutschland gelistet. Ergo: Ich lade wirklich von allen die Feeds um die Sprache zu definieren. Im Mittel braucht das irgendwas zwischen 1 und 2 Sekunden pro Feed. Für die ca. 750,000 Podcasts die Apple kennt werden also noch um die 3 Tage crawlen fällig. Und jetzt nehmen wir uns alle an den Händen und hoffen, dass das Speichern zum Schluss gut geht 😄

@dirkprimbs @eazy wir wünschen uns allen einen guten Appetit ... oder so.

@eazy und läuft...
Inzwischen bin ich bei "Religion und Spiritualität" angekommen, Rubrik 11 von 16.

@eazy Gleich ist der Crawler bei "TV&Film" und danach kommt "Technologie" und dann ist er durch. Die beiden größten Brocken zum Abschluss ;-)

Sign in to participate in the conversation
chaos.social

chaos.social - because anarchy is much more fun with friends.
chaos.social is a small Mastodon instance for and by the Chaos community surrounding the Chaos Computer Club. We provide a small community space - Be excellent to each other, and have a look at what that means around here.
Follow @ordnung for low-traffic instance-related updates.
The primary instance languages are German and English.