tovotu

8. Dezember 2012
Neuer SpringerLink Downloader
Sprache:Python - Libs:pyPdf,PyGObject,lxml,urllib2

Update vom 09.07.2013: Ein Update der SpringerLink-Seite hat dieses Tool ein Stück weit überflüssig gemacht: Zukünftig können ganze Bücher in Form einer einzelnen DRM-freien PDF direkt bezogen werden. Es gibt aber weiterhin Bücher (vor allem ältere Ausgaben), die nicht als einzelne PDF verfügbar sind. (Der SpringerLink Downloader erkennt automatisch, ob das Buch als einzelne PDF oder kapitelweise heruntergeladen werden muss.)

Die neue Webseite von SpringerLink ist übersichtlicher, schöner und nützlicher als die bisherige. Aber einen Nachteil hat das vollständige Redesign: Das Python-Script springer_download.py[1] funktioniert nicht mehr.

Diese Gelegenheit habe ich genutzt, um das Tool komplett neu zu schreiben und dabei einige meiner Verbesserungsvorschläge von vor einem halben Jahr einzubringen. Meine neue Version basiert nun auf Python (ab Version 2.7), urllib2, lxml (mit cssselect) und pyPdf. Man benötigt außerdem entweder Ghostscript oder pdftk und für die Verarbeitung des Frontcovers auch ImageMagick.

Es handelt sich nicht um einen Fork, sondern um eine komplette Neukonzeption des Vorbilds von Milian Wolff. Obwohl einzelne User einen tadellosen Betrieb unter Windows mit cygwin vermelden, sei darauf hingewiesen, dass eine Entwicklung zum jetzigen Zeitpunkt ausschließlich unter und im Hinblick auf Linux stattfindet.

Enthalten ist eine sehr einfache grafische Oberfläche basierend auf Gtk3 (also PyGObject), die verwendet wird, wenn das Programm durch einen Doppelklick oder aus der Kommandozeile mit der Option --gui gestartet wird. Das Programm ist auch auf Systemen ohne die Gtk-Bibliotheken in der Kommandozeile lauffähig und nur dort kann man den vollen Funktionsumfang des Tools nutzen.

Download: springer_download.py (application/octet-stream, 160,27 kB, letztes Update: 21.10.2013)

Nach dem Download markiert man die Datei als ausführbar und die Software ist sofort nutzbar: Durch einen Doppelklick startet man die grafische Oberfläche. Wie üblich muss natürlich vor dem Aufruf des Programms eine Verbindung mit dem Universitätsnetzwerk bestehen, damit ein Zugriff auf die Inhalte von SpringerLink möglich ist.

Die Funktionsweise der Software

Das Tool bezieht die wesentlichen Metadaten (Titel, Autor, Anzahl der Kapitel, ...) von der Webseite und lädt das Buchcover herunter. Nach dem Download der PDF-Dateien werden diese zusammen mit dem Cover und den Metadaten in eine neue PDF-Datei geschrieben, die standardmäßig die ISBN des Buchs als Namen trägt.

Die Ausgabedatei wird mit einem Inhaltsverzeichnis versehen, das - falls vorhanden - aus den PDF-Dateien der einzelnen Kapitel extrahiert oder nötigenfalls aus den Angaben auf der Webseite zusammengestellt wird. Außerdem bleiben besondere Seitenbezeichnungen (etwa mit römischen Ziffern) bestehen, sodass insbesondere die Nummerierung der PDF-Seiten mit der durch die Druckausgabe vorgegebenen Nummerierung der Buchseiten übereinstimmt.

Bedienung über die Kommandozeile

Man übergibt dem Tool die URL des gewünschten Buchs wie folgt:

./springer_download.py "http://link.springer.com/book/10.1007/978-3-642-21017-4/"

Mit der Option --output (bzw. kurz -o) kann man den Pfad zur Ausgabedatei angeben und mittels --no-cover lässt sich der Download des Frontcovers unterdrücken. Statt der gesamten URL genügt auch die Angabe des Buchcodes in der URL (meist die ISBN):

./springer_download.py --output ausgabe.pdf "978-3-642-21017-4"
./springer_download.py --no-cover "BFb0062071"

Ohne die Option -o wird für den Dateinamen der Ausgabedatei standardmäßig die ISBN-Nummer verwendent. Mit der Option --autotitle wird stattdessen im Format AUTOREN - TITEL.pdf gespeichert - auf die Gefahr hin, dass der Titel sehr lang wird und unter Umständen viele Leer- und Sonderzeichen enthält.

Eine Übersicht über die zahlreichen weiteren Optionen erhält man mit

./springer_download.py --help

Quellcode

Das Projekt ist auf FramaGit beheimatet.[2] Dort können der Quellcode und alternative Möglichkeiten zur Installation eingesehen werden.

  1. tovotu.de/blog/514-...SpringerLink-beziehen
  2. framagit.org/tuxor1337/springerdownload

Kommentare

Toby 7. Mai 2013

Leider habe ich das gleiche Problem wie joe (20. Kommentar am 12. April 2013, 11:10 Uhr):
Das Skript hängt bei "==> Writing to file (page 0 of 317)..."
Ich habe es mit mehreren Links ausprobiert, kein Erfolg. Ich habe eine halbe Stunde gewartet. Datei erscheint zwar im Verzeichnis, aber mit 0 kb Größe.
Es wird der Prozess "gs-X11" ausgeführt. Dieser verbraucht aber auch kaum Prozessorleistung oder Speicher.
Vielen Dank für deine Hilfe!!

Tim 30. April 2013

Eine Möglichkeit #31 das Zusammenfügen von Büchern zu ermöglichen (und dabei sogar noch Konform zu den Springer AGB zu sein) wäre folgendes:

Füge einen weiteren Modus ein, der sich nur die Inhaltsverzeichnisseite runterlädt und diese Metadaten/Coverbilder dann mit bereits (manuell) gedownloadeten Kapitelpdfs kombiniert.

Das würde einfach zu nutzen sein, deine guten Resultate ergeben (korrekte Seitenzahlen, Cover und Metadaten) und ist dabei auch nutzbar, wenn der Download durch irgendwelche Gründe eingeschränkt ist.

vlow 27. April 2013

Hallo! Erstmal danke für dein Script - ist echt ne super Arbeit. Ich hab mal nen Fork von deinem Script bei GitHub gemacht, hast du ja wahrsch. gesehen. Wollt dich nur warnen, dass sich die Importquelle für BeautifulSoup mit Version 4 von "BeautifulSoup" auf "bs4" geändert hat. Hat mir grade ein paar "Module not found" Fehler rausgeschmissen und ich wollt dir die Suche ersparen 😃

Kannst ja ne Versionsinformation (<4.0.0) hinter dein Requirement setzen. 😉

Administrator 22. April 2013

Eine solche Funktion ließe sich vermutlich recht einfach hinzufügen (Stichwort "cookielib.CookieJar"). Ich habe allerdings selbst keinen Account und daher auch keine Möglichkeit, es zu testen. Dementsprechend habe ich eigentlich auch keine Lust, mich um so eine Funktion zu kümmern.

Da das Projekt Open Source ist, steht aber immer die Möglichkeit offen, dass irgendjemand eine entsprechende Funktion auf eigene Faust implementiert und commitet.

Arne 22. April 2013

Schön, dass es wieder einen funktionierenden SpringerLink-Downloader gibt! Und deine neue Version scheint ja noch um einiges besser zu sein, als die früheren Versionen von anderen Autoren.

Eine Frage habe ich allerdings noch: Sehe ich es richtig, dass man nicht manuell die Authentifizierungsdaten setzen kann?
Klar, meistens läuft die Authentifizierung über die IP, da hat dann halt ein ganzes Uni-Netz bestimmte Zugriffsrechte, so ist das auch hier bei mir. Aber ich habe zusätzlich noch einen weiteren SpringerLink-Account, bei dem ich mich mit Benutzername und Kennwort einloggen muss (und bei dem die IP dann völlig egal ist). Wie kann ich so einen Account mit deinem Tool verwenden? Dieser Account hat nämlich noch einige andere Bücher als mein Uni-Account, deshalb würde ich den auch gerne nutzen.
« 1 2 3 4 5 6 7 8 9 10 11 12 13 »
Neue Kommentare zu diesem Artikel bitte per Mail an kommentare-518(at)tovotu.de!