tovotu

8. Dezember 2012
Neuer SpringerLink Downloader
Sprache:Python - Libs:pyPdf,PyGObject,lxml,urllib2

Update vom 09.07.2013: Ein Update der SpringerLink-Seite hat dieses Tool ein Stück weit überflüssig gemacht: Zukünftig können ganze Bücher in Form einer einzelnen DRM-freien PDF direkt bezogen werden. Es gibt aber weiterhin Bücher (vor allem ältere Ausgaben), die nicht als einzelne PDF verfügbar sind. (Der SpringerLink Downloader erkennt automatisch, ob das Buch als einzelne PDF oder kapitelweise heruntergeladen werden muss.)

Die neue Webseite von SpringerLink ist übersichtlicher, schöner und nützlicher als die bisherige. Aber einen Nachteil hat das vollständige Redesign: Das Python-Script springer_download.py[1] funktioniert nicht mehr.

Diese Gelegenheit habe ich genutzt, um das Tool komplett neu zu schreiben und dabei einige meiner Verbesserungsvorschläge von vor einem halben Jahr einzubringen. Meine neue Version basiert nun auf Python (ab Version 2.7), urllib2, lxml (mit cssselect) und pyPdf. Man benötigt außerdem entweder Ghostscript oder pdftk und für die Verarbeitung des Frontcovers auch ImageMagick.

Es handelt sich nicht um einen Fork, sondern um eine komplette Neukonzeption des Vorbilds von Milian Wolff. Obwohl einzelne User einen tadellosen Betrieb unter Windows mit cygwin vermelden, sei darauf hingewiesen, dass eine Entwicklung zum jetzigen Zeitpunkt ausschließlich unter und im Hinblick auf Linux stattfindet.

Enthalten ist eine sehr einfache grafische Oberfläche basierend auf Gtk3 (also PyGObject), die verwendet wird, wenn das Programm durch einen Doppelklick oder aus der Kommandozeile mit der Option --gui gestartet wird. Das Programm ist auch auf Systemen ohne die Gtk-Bibliotheken in der Kommandozeile lauffähig und nur dort kann man den vollen Funktionsumfang des Tools nutzen.

Download: springer_download.py (application/octet-stream, 160,27 kB, letztes Update: 21.10.2013)

Nach dem Download markiert man die Datei als ausführbar und die Software ist sofort nutzbar: Durch einen Doppelklick startet man die grafische Oberfläche. Wie üblich muss natürlich vor dem Aufruf des Programms eine Verbindung mit dem Universitätsnetzwerk bestehen, damit ein Zugriff auf die Inhalte von SpringerLink möglich ist.

Die Funktionsweise der Software

Das Tool bezieht die wesentlichen Metadaten (Titel, Autor, Anzahl der Kapitel, ...) von der Webseite und lädt das Buchcover herunter. Nach dem Download der PDF-Dateien werden diese zusammen mit dem Cover und den Metadaten in eine neue PDF-Datei geschrieben, die standardmäßig die ISBN des Buchs als Namen trägt.

Die Ausgabedatei wird mit einem Inhaltsverzeichnis versehen, das - falls vorhanden - aus den PDF-Dateien der einzelnen Kapitel extrahiert oder nötigenfalls aus den Angaben auf der Webseite zusammengestellt wird. Außerdem bleiben besondere Seitenbezeichnungen (etwa mit römischen Ziffern) bestehen, sodass insbesondere die Nummerierung der PDF-Seiten mit der durch die Druckausgabe vorgegebenen Nummerierung der Buchseiten übereinstimmt.

Bedienung über die Kommandozeile

Man übergibt dem Tool die URL des gewünschten Buchs wie folgt:

./springer_download.py "http://link.springer.com/book/10.1007/978-3-642-21017-4/"

Mit der Option --output (bzw. kurz -o) kann man den Pfad zur Ausgabedatei angeben und mittels --no-cover lässt sich der Download des Frontcovers unterdrücken. Statt der gesamten URL genügt auch die Angabe des Buchcodes in der URL (meist die ISBN):

./springer_download.py --output ausgabe.pdf "978-3-642-21017-4"
./springer_download.py --no-cover "BFb0062071"

Ohne die Option -o wird für den Dateinamen der Ausgabedatei standardmäßig die ISBN-Nummer verwendent. Mit der Option --autotitle wird stattdessen im Format AUTOREN - TITEL.pdf gespeichert - auf die Gefahr hin, dass der Titel sehr lang wird und unter Umständen viele Leer- und Sonderzeichen enthält.

Eine Übersicht über die zahlreichen weiteren Optionen erhält man mit

./springer_download.py --help

Quellcode

Das Projekt ist auf FramaGit beheimatet.[2] Dort können der Quellcode und alternative Möglichkeiten zur Installation eingesehen werden.

  1. tovotu.de/blog/514-...SpringerLink-beziehen
  2. framagit.org/tuxor1337/springerdownload

Kommentare

joe 12. April 2013

Das Herunterladen der 154 Kapitel hat reibungslos funktioniert. Leider hängt sich das Skript jetzt beim "writing to file (page 0 of 1987)" auf. Da geht dann nichts mehr

Administrator 11. April 2013

Da kann man ganz sicher etwas machen. Aber ich habe überhaupt keine Erfahrung in der Python-Programmierung unter Windows und habe überdies keinen Windows-Rechner für Tests zur Verfügung.

Nur so viel: Das Script funktioniert auch, wenn von Ghostscript und Pdftk nur eines vorhanden ist. ImageMagick wird gar nicht benötigt, wenn man auf das Coverbild verzichten kann. Außerdem ist das Programm Open Source - wer also Windows-Unterstützung einbringen will, soll das machen und ggf. einen Pull-Request bei Github einstellen. Falls die Änderungen halbwegs brauchbar sind, werde ich sie übernehmen.

Fis Moll 11. April 2013

Hab versucht, das tool unter Windows zum laufen zu bringen. Und ansich könnte das funktionieren - lediglich die ganzen Aufrufe zu ImageMagick, vor allem aber Pdftk oder Ghostscript tun nicht. Meinst du, da könnte man was machen?

Administrator 10. April 2013

@joe
Die aktuellste Version behebt dein Problem. Falls nicht, meld dich einfach nochmal.

@florian
Probier es nochmal mit der aktuellsten Version. Falls das gleiche Problem damit auch auftritt, melde dich mal per Mail bei mir (siehe ganz am Ende der Seite "Impressum").

florian 10. April 2013

Laesst sich bei mir unter Arch Linux leider nicht starten:

$ ./springer_download.py
Traceback (most recent call last):
File "/usr/lib/python3.3/runpy.py", line 160, in _run_module_as_main
"__main__", fname, loader, pkg_name)
File "/usr/lib/python3.3/runpy.py", line 73, in _run_code
exec(code, run_globals)
File "./springer_download.py/__main__.py", line 66, in <module>
File "./springer_download.py/__main__.py", line 11, in main
File "./springer_download.py/springerdl/fetch er.py", line 44, in <module>
ImportError: No module named 'util'

Welches Package fehlt mir da?
« 1 2 3 4 5 6 7 8 9 10 11 12 13 »
Neue Kommentare zu diesem Artikel bitte per Mail an kommentare-518(at)tovotu.de!