tovotu

8. Dezember 2012
Neuer SpringerLink Downloader
Sprache:Python - Libs:pyPdf,PyGObject,lxml,urllib2

Update vom 09.07.2013: Ein Update der SpringerLink-Seite hat dieses Tool ein Stück weit überflüssig gemacht: Zukünftig können ganze Bücher in Form einer einzelnen DRM-freien PDF direkt bezogen werden. Es gibt aber weiterhin Bücher (vor allem ältere Ausgaben), die nicht als einzelne PDF verfügbar sind. (Der SpringerLink Downloader erkennt automatisch, ob das Buch als einzelne PDF oder kapitelweise heruntergeladen werden muss.)

Die neue Webseite von SpringerLink ist übersichtlicher, schöner und nützlicher als die bisherige. Aber einen Nachteil hat das vollständige Redesign: Das Python-Script springer_download.py[1] funktioniert nicht mehr.

Diese Gelegenheit habe ich genutzt, um das Tool komplett neu zu schreiben und dabei einige meiner Verbesserungsvorschläge von vor einem halben Jahr einzubringen. Meine neue Version basiert nun auf Python (ab Version 2.7), urllib2, lxml (mit cssselect) und pyPdf. Man benötigt außerdem entweder Ghostscript oder pdftk und für die Verarbeitung des Frontcovers auch ImageMagick.

Es handelt sich nicht um einen Fork, sondern um eine komplette Neukonzeption des Vorbilds von Milian Wolff. Obwohl einzelne User einen tadellosen Betrieb unter Windows mit cygwin vermelden, sei darauf hingewiesen, dass eine Entwicklung zum jetzigen Zeitpunkt ausschließlich unter und im Hinblick auf Linux stattfindet.

Enthalten ist eine sehr einfache grafische Oberfläche basierend auf Gtk3 (also PyGObject), die verwendet wird, wenn das Programm durch einen Doppelklick oder aus der Kommandozeile mit der Option --gui gestartet wird. Das Programm ist auch auf Systemen ohne die Gtk-Bibliotheken in der Kommandozeile lauffähig und nur dort kann man den vollen Funktionsumfang des Tools nutzen.

Download: springer_download.py (application/octet-stream, 160,27 kB, letztes Update: 21.10.2013)

Nach dem Download markiert man die Datei als ausführbar und die Software ist sofort nutzbar: Durch einen Doppelklick startet man die grafische Oberfläche. Wie üblich muss natürlich vor dem Aufruf des Programms eine Verbindung mit dem Universitätsnetzwerk bestehen, damit ein Zugriff auf die Inhalte von SpringerLink möglich ist.

Die Funktionsweise der Software

Das Tool bezieht die wesentlichen Metadaten (Titel, Autor, Anzahl der Kapitel, ...) von der Webseite und lädt das Buchcover herunter. Nach dem Download der PDF-Dateien werden diese zusammen mit dem Cover und den Metadaten in eine neue PDF-Datei geschrieben, die standardmäßig die ISBN des Buchs als Namen trägt.

Die Ausgabedatei wird mit einem Inhaltsverzeichnis versehen, das - falls vorhanden - aus den PDF-Dateien der einzelnen Kapitel extrahiert oder nötigenfalls aus den Angaben auf der Webseite zusammengestellt wird. Außerdem bleiben besondere Seitenbezeichnungen (etwa mit römischen Ziffern) bestehen, sodass insbesondere die Nummerierung der PDF-Seiten mit der durch die Druckausgabe vorgegebenen Nummerierung der Buchseiten übereinstimmt.

Bedienung über die Kommandozeile

Man übergibt dem Tool die URL des gewünschten Buchs wie folgt:

./springer_download.py "http://link.springer.com/book/10.1007/978-3-642-21017-4/"

Mit der Option --output (bzw. kurz -o) kann man den Pfad zur Ausgabedatei angeben und mittels --no-cover lässt sich der Download des Frontcovers unterdrücken. Statt der gesamten URL genügt auch die Angabe des Buchcodes in der URL (meist die ISBN):

./springer_download.py --output ausgabe.pdf "978-3-642-21017-4"
./springer_download.py --no-cover "BFb0062071"

Ohne die Option -o wird für den Dateinamen der Ausgabedatei standardmäßig die ISBN-Nummer verwendent. Mit der Option --autotitle wird stattdessen im Format AUTOREN - TITEL.pdf gespeichert - auf die Gefahr hin, dass der Titel sehr lang wird und unter Umständen viele Leer- und Sonderzeichen enthält.

Eine Übersicht über die zahlreichen weiteren Optionen erhält man mit

./springer_download.py --help

Quellcode

Das Projekt ist auf FramaGit beheimatet.[2] Dort können der Quellcode und alternative Möglichkeiten zur Installation eingesehen werden.

  1. tovotu.de/blog/514-...SpringerLink-beziehen
  2. framagit.org/tuxor1337/springerdownload

Kommentare

Jörgi 1. November 2013

Hi,

wollte gerade das Tool zum Downloaden von Fachzeitschriften nutzen. Leider funktioniert das nicht. Woran kann das liegen?

Soetwas z.B.
link.springer.com/j...nal/11623/37/8/page/1

Gruß

Jörgi

Tobi 14. August 2013

2. Genau! Grad hab ich auch gemerkt das bei der Springerlink-Vollversion kein PDF-Inhaltsverzeichnis (Das bei deinem Tool mit gs erzeugt wird) vorhanden ist.

3. ☺ ich find die --autotitle option superpraktisch und hab die immer standardmäßig dabei!

Administrator 13. August 2013

Hi Tobi,

1. Naja, so ganz wird das wohl nicht stimmen angesichts der Tatsache, dass andere Download-Tools bereits lange (für die alte Webseite) existierten und Springer damals darauf auch nur mit Warnhinweisen reagierte.

2. Ja, richtig. Es gibt im Einzelfall auch noch andere Vorteile meines Tools gegenüber den Voll-Versionen von Springer.

3. Standardmäßig wird die Ausgabedatei tatsächlich nach der ISBN benannt. Bei Verwendung der grafischen Oberfläche kann aber auch ein beliebiger anderer Dateiname gewählt werden und in der Kommandozeile gibt es zusätzlich die Option --autotitle (wie oben im Artikel beschrieben).

Tobi 13. August 2013

Hab dazu noch 3 Punkte hinzuzufügen:

1. Ich glaube dein Downloader war der Hauptanlasspunkt für Springerlink die Downloadfunktion fürs ganze Buch anzubieten.

2. Ich fand besonders schön an deinem Downloader, dass die Buchcovers mit dabei waren. Das vermiss ich bei der Downloadfkt von Springerlink.

3. Benennt dein Downloader das fertige PDF wenigstens gescheit, was soll ich den bitte mit 10.1007-978-3-540-89613-5.pdf???

Administrator 9. Juli 2013

Seit ein paar Tagen können ganze Bücher auch regulär über die Springer-Webseite als DRM-freie PDF bezogen werden, siehe feedback.link.sprin..._update_4th_july_2013

Ich werde deshalb wohl sobald wie möglich eine Option in die Software einbauen, die verhindert, dass alle PDFs einzeln geladen werden, wenn das Buch auch so schon als einzelne PDF verfügbar ist.

Ganz umsonst war die Arbeit dennoch nicht: Der Downloader ist Open Source und kann auch in Zukunft als Vorlage für ähnliche Projekte dienen.
« 1 2 3 4 5 6 7 8 9 10 11 12 13 »
Neue Kommentare zu diesem Artikel bitte per Mail an kommentare-518(at)tovotu.de!