Wget beherrschen und einige nette Download-Tricks lernen

Manchmal reicht es einfach nicht aus, eine Website lokal in Ihrem Browser zu speichern. Manchmal braucht man etwas mehr Leistung. Dafür gibt es ein hübsches kleines Kommandozeilen-Tool namens Wget. Wget ist ein einfaches Programm, mit dem Dateien aus dem Internet heruntergeladen werden können. Möglicherweise wissen Sie bereits viel über Wget oder nicht, aber nachdem Sie diesen Artikel gelesen haben, können Sie ihn für alle möglichen Tricks verwenden.

Wget kann nativ in der UNIX- und Windows-Befehlszeile verwendet werden, ist jedoch möglich Installieren Sie wget unter Mac OS X. So erhalten Sie Wget für Ihren MacMacs sind großartig, mit ihrer übersichtlichen Benutzeroberfläche und einem Unix-Backend. Manchmal hat man das Gefühl, mit ihnen fast alles machen zu können. Bis Sie eines Tages versuchen, etwas Einfaches zu tun, und Sie ... Weiterlesen mit ein bisschen Überredung. Sobald Sie die Art der Dinge kennen, für die Sie Wget verwenden können, ist es auf jedes Betriebssystem portierbar - und das ist praktisch. Was noch besser ist, ist, dass wget in Batch-Dateien und Cron-Jobs verwendet werden kann. Hier sehen wir die wahre Kraft hinter wget.

Grundlegende Wget

Die Grundverwendung ist wget URL.

 wget //www.makeuseof.com/

Die einfachsten Optionen, die die meisten Menschen kennen müssen, sind Hintergrundinformationen (wget -b), teilweisen Download fortsetzen (wget -c), Anzahl der Versuche (wget –tries = NUMBER) und natürlich helfen (wget -h), um sich an alle Möglichkeiten zu erinnern.

wget -b -c --tries = NUMBER URL

Mäßig erweiterte Wget-Optionen

Wget kann auch im Hintergrund ausgeführt werden (wget -b), begrenzen Sie die Geschwindigkeit des Downloads (wget –limit-rate = SPEED), kein Elternteil, um sicherzustellen, dass Sie nur ein Unterverzeichnis herunterladen (wget -np), aktualisiere nur geänderte Dateien (wget -N), spiegeln Sie eine Site (wget -m), stellen Sie sicher, dass keine neuen Verzeichnisse erstellt werden (wget -nd), akzeptiere nur bestimmte Erweiterungen (wget –accept = LIST) und stellen Sie eine Wartezeit ein (wget –wait = SEKUNDEN).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST --wait = SECONDS URL

Rekursiv mit Wget herunterladen

Sie können rekursiv herunterladen (wget -r), überspannen Hosts auf andere Domänen (wget -H), konvertiere Links in lokale Versionen (wget –convert-links) und legen Sie die Ebene der Rekursionen fest (wget –level = NUMBER mit inf oder 0 für unendlich).

Einige Websites möchten jedoch nicht, dass Sie rekursiv herunterladen, und überprüfen, welchen Browser Sie verwenden, um den Bot zu blockieren. Um dies zu umgehen, deklarieren Sie einen Benutzeragenten wie Mozilla (wget –user-agent = AGENT).

wget -r -H --convert-links --level = NUMBER --user-agent = AGENT URL

Passwortgeschütztes Wget

Es ist möglich, den Benutzernamen und das Passwort für eine bestimmte URL zu deklarieren, während Sie wget verwenden (wget –http-user = USER –http-password = PASS). Dies wird auf freigegebenen Computern nicht empfohlen, da jeder, der die Prozesse anzeigt, das Kennwort im Klartext sehen kann.

wget --http-user = USER --http-password = PASS URL

Ein Beispiel dafür ist in Aktion Verwenden Sie wget, um Ihre Aufgaben in Remember The Milk zu sichern Beste Backup-Tipps für Ihre RememberTheMilk-AufgabenFür viele von uns, die in der Cloud arbeiten, verlassen wir uns sehr stark auf unsere bevorzugten Dienste. Wir lieben und vertrauen ihnen manchmal auch vielleicht ein bisschen mehr als wir manchmal sollten, ... Weiterlesen .

Wget Bulk Download

Erstellen Sie zunächst mit wget eine Textdatei mit allen URLs, die Sie herunterladen möchten, und rufen Sie sie auf wget_downloads.txt. Geben Sie dann den folgenden Befehl ein, um URLs in großen Mengen herunterzuladen:

wget -i wget_downloads.txt

Coole Anwendungen für Wget

Dadurch wird eine Website gecrawlt und eine Protokolldatei mit fehlerhaften Links erstellt:

wget --spider -o wget.log -e robots = off --wait 1 -r -p http://www.mysite.com/

Dadurch wird eine Textdatei Ihrer Lieblingsmusikblogs erstellt und alle neuen MP3-Dateien heruntergeladen:

wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e robots = off -i musicblogs.txt

Wofür benutzt du wget noch?

Bildnachweis: Social Media Verbindung über ShutterStock, Junger Mann, der über Shutterstock fernsieht, Globus über Shutterstock