Wget gebruiken om iets van internet te downloaden (2023)

Wget is een opdrachtregelprogramma dat kan worden gebruikt om bijna alles wat op internet beschikbaar is te downloaden. Het addertje onder het gras is dat het beschikbaar moet zijn via HTTP-, HTTPS- of FTP-protocollen; anders kan Wget het niet downloaden. Er zijn een aantal manieren waarop Wget kan worden gebruikt, u kunt Wget bijvoorbeeld gebruiken om elke afbeelding op een website te downloaden, of u kunt ook een enkel bestand downloaden. Wget is zelfs in staat om downloads te hervatten, indien mogelijk. Dus als u zich afvraagt ​​hoe Wget werkt en wat het voor u kan doen, hier leest u hoe u Wget . gebruikt:

Wget installeren

1. Wget installeren op macOS Sierra

Voordat we aan de slag gaan met het gebruik van Wget, moeten we het op ons systeem installeren. Gelukkig worden de meeste Linux-distributies geleverd met Wget vooraf geïnstalleerd, dus je hoeft geen extra werk te doen. Als u echter een Mac gebruikt, moet u Wget installeren. Dit kan eenvoudig worden gedaan met Homebrew (downloaden). Als je hulp nodig hebt, volgen hier de stappen die je moet volgen:

• Eerst moet je Homebrew op je Mac installeren om Wget te kunnen downloaden. Om dit te doen, hoeft u alleen start de Terminalen typ de volgende opdracht:

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

• Nadat de opdracht is voltooid, Homebrew wordt geïnstalleerd op uw systeem. U kunt Homebrew nu gebruiken om pakketten te installeren, zoals Wget. Voer in de Terminal gewoon de volgende opdracht uit:

brew install wget

• Homebrew start automatisch Wget . downloaden, uitpakken en installeren op uw systeem. Deze stap kan enige tijd duren, afhankelijk van uw netwerksnelheid, dus wees geduldig. Zodra de opdracht is voltooid, zou je Wget op je Mac moeten kunnen gebruiken. Gebruik het commando om te controleren of het is geïnstalleerd:

wget -V

2. Wget installeren op Windows

Het installeren van Wget op Windows kost wat meer moeite, maar het kan eenvoudig worden gedaan. Als u Wget op uw Windows-pc wilt installeren, volgt u de onderstaande stappen:

• Eerste, downloaden Cygwin, en dan voer het gedownloade installatiebestand uit.

• Wanneer het om de standaard downloadbron vraagt, kiest u de optie die zegt “Installeren vanaf internet“, en klik op “Volgende”.

• Kies een installatiemap voor Cygwin, evenals een map waarin het pakketbestanden zal opslaan voor de installatie van hulpprogramma’s.

• In het volgende scherm moet je je internetverbinding selecteren. Als u een proxy gebruikt, kiest u het type proxy dat het is en vult u de details in. Voor de meeste gebruikers zou de keuze echter zijn “Directe verbinding“.

• U krijgt dan een lijst met spiegels, kies een van deze om Cygwin te downloaden. Als het downloaden mislukt, kunt u het opnieuw proberen met een andere mirror.

• Zoek in het volgende venster naar “wget”, en klik op de plus naast “web” in de lijst die verschijnt. Hier, het selectievakje naast “wget” wordt automatisch geselecteerd. Klik gewoon op “Volgende”.

• Het volgende scherm toont u de pakketten die u moet downloaden. Gewoon klikken “Volgende”.

• Zodra de installatie is voltooid, wordt u gevraagd of u dit wilt: Maak een desktop icoonen/of voeg een . toe toegang tot het startmenu. Dit is volledig een kwestie van persoonlijke voorkeur, maar ik raad je aan om het op zijn minst toe te voegen aan het startmenu, zodat je het gemakkelijk kunt vinden.

Dat is het. Wget is nu geïnstalleerd op uw Windows-pc. U kunt het echter niet uitvoeren vanaf de opdrachtprompt. In plaats daarvan moet je start de Cygwin Terminal en gebruik vanaf daar Wget.

Wget gebruiken

Nu we Wget in gebruik hebben op ons systeem, laten we eens kijken naar alle coole manieren waarop we Wget kunnen gebruiken om bestanden, mappen en zelfs hele websites van internet te downloaden. Hier zijn een aantal interessante dingen die u kunt doen met Wget op uw systeem.

Opmerking: Ik gebruik Wget op een MacBook Air met macOS Sierra 10.12.3 beta. Omdat het hulpprogramma dat we gebruiken echter hetzelfde is (Wget), zijn de opdrachten hetzelfde op elk besturingssysteem waarop u Wget gebruikt.

1. Gebruik Wget om bestanden te downloaden

U kunt Wget gebruiken om gemakkelijk bestanden van internet te downloaden. Gebruik gewoon de volgende opdracht:

wget <url>

• Een bestand downloaden en opslaan met een specifieke bestandsnaam

Bestanden op servers hebben soms de raarste namen, en misschien wil je het bestand downloaden en Wget automatisch de naam laten hernoemen naar iets dat logischer voor je is. Gebruik hiervoor het volgende commando:

wget -o <output_file.extension> <url_to_download>

• Alleen specifieke bestandstypen downloaden

Een webserver kan een aantal verschillende bestanden hosten. Dus, wat als u alleen alle PDF’s op de server wilt downloaden, of misschien alle GIF’s? Gebruik eenvoudig de volgende opdracht:

wget -r -A pdf <url_to_download>

Deze specifieke opdracht werd door Mark Zuckerberg in zijn slaapzaal in Harvard gebruikt om alle afbeeldingen met slechts één opdracht te downloaden en de beruchte website “facesmash.com” te bouwen.

wget -r -A jpg, jpeg, png, bmp <url_to_download>

2. Download bestanden van meerdere URL’s met Wget

Stel dat u bestanden van een aantal verschillende locaties op internet moet downloaden. Er is misschien een PDF-bestand op url1een belangrijke ZIP-bestand op url2en iets anders in url3. Als je Wget op de traditionele manier hebt gebruikt, moet je het drie keer uitvoeren. Er is echter een veel eenvoudigere manier om dit te doen.

• Maak eerst een bestand met alle URL’s waarvan u gegevens moet downloaden. Zorg ervoor dat je houd elke URL op zijn eigen regel. Sla het bestand op en zorg ervoor dat u de naam onthoudt.

• Gebruik in Terminal de volgende opdracht om bestanden van alle URL’s te downloaden:

wget -i <file_name>

waar “bestandsnaam” is de naam van het bestand dat je hebt gemaakt met alle URL’s je nodig had om dingen te downloaden van.

3. Download een volledige website met Wget

Ja, u leest het goed. U kunt Wget ook gebruiken om de inhoud van een hele website te downloaden. Het is duidelijk dat als de website te groot is, deze opdracht veel tijd in beslag zal nemen om te voltooien, om nog maar te zwijgen van het feit dat het veel ruimte op uw systeem in beslag zal nemen. Dat gezegd hebbende, als je Wget wilt gebruiken om een ​​hele website te downloaden, gebruik dan gewoon de volgende opdracht:

wget --mirror -p <url> -P ./LOCAL-DIR WEBSITE-URL

Hiermee wordt de hele website gedownload naar een map “LOKALE DIR” in uw werkmap. De bestanden van de website worden opgeslagen in een map met dezelfde naam als de website, dankzij “WEBSITE URL“.

4. Gebruik Wget als een webspin

Je kunt Wget ook laten werken als een webcrawler (of een webspin). Dit is handig wanneer u dat wilt bevestig dat de URL voor het bestand dat u wilt downloaden geldig is. Gebruik de volgende opdracht om Wget als webspider te gebruiken en de geldigheid van URL’s te controleren:

wget --spider <url>

Hiermee wordt gecontroleerd of de door u genoemde URL bestaat, en u krijgt een reactie met de resultaten van de controle.

• Positieve reactie:

• Negatieve reactie:

5. Ga door met onvolledige downloads

Dit is nog een heel cool ding dat Wget kan doen. Stel dat u een bestand aan het downloaden was met Wget, maar dat u om de een of andere reden uw laptop moest afsluiten. De volgende keer dat u hetzelfde bestand wilt downloaden, kan Wget dat ook daadwerkelijk doorgaan met downloaden voor jou. Je moet gewoon zorg ervoor dat u zich in dezelfde map bevindt als waar u het bestand de laatste keer aan het downloaden wasen gebruik vervolgens de volgende opdracht:

wget -c <url>

Wanneer Wget ziet dat een deel van het bestand al in uw systeem aanwezig is, gaat het automatisch verder met downloaden.

Opmerking: Als het bestand op de server is gewijzigd sinds de laatste keer dat u het probeerde te downloaden, moet u deze opdracht niet gebruiken, omdat dit resulteert in een beschadigd bestand dat u niet kunt lezen.

Als de server verder downloaden niet toestaat, zal Wget weigeren de download helemaal opnieuw te starten. Als u de download helemaal opnieuw wilt beginnen, moet u het gedeeltelijk gedownloade bestand van uw systeem verwijdereneerst.

Er zijn wat meer voorwaarden om dit argument te gebruiken, en u kunt er meer over lezen op de Wget man-pagina.

6. Beperk de downloadsnelheid

Als je Wget gebruikt om bestanden te downloaden en daarnaast op internet surft, wil je waarschijnlijk niet dat al je bandbreedte door Wget wordt opgebruikt. Gelukkig bevat Wget een argument dat je kunt gebruiken om: beperk de hoeveelheid bandbreedte die Wget kan gebruiken voor het downloaden van bestanden op uw systeem:

wget --limit-rate=<speed> <url>

Opmerking: Houd er rekening mee dat de snelheid wordt vermeld in Bytes, en niet in Bits. Dus als u Wget –limit-rate=20k gebruikt, wordt het bandbreedtegebruik beperkt tot 20 kB en niet tot 20 kb.

7. Gebruik Wget om bestanden van FTP-servers te downloaden

Als u een bestand van een FTP-server moet downloaden, kunt u dat ook met Wget doen. Gebruik gewoon de volgende opdracht om bestanden van FTP-servers te downloaden:

wget <ftp_url>

• Bestanden downloaden van FTP-servers met Login

ALS uw FTP-server een login vereist om downloadbestanden toe te staan, kunt u de inloggegevens ook eenvoudig met Wget doorgeven. Gebruik gewoon de volgende opdracht:

wget --ftp-username=USERNAME --ftp-password=PASSWORD <ftp_url>

ZIE OOK: 30 Mac Terminal-opdrachten voor toegang tot verborgen functies

Gebruik Wget eenvoudig om bestanden van internet te downloaden

U kunt Wget gebruiken om overal op internet bestanden te downloaden. Hoewel Wget bijna altijd werkt, zijn er bepaalde servers die toegang tot Wget verhinderen. In dat geval kunt u proberen de –user-agent voor uw Wget-opdracht te wijzigen. Dat is echter geen aanbevolen handelwijze, tenzij u absoluut weet wat u doet. Voor het grootste deel laat Wget je elk bestand van internet downloaden, zolang je er toegang toe hebt, en de URL ervan.

Dus, heb je ooit Wget gebruikt om bestanden van internet te downloaden? Laat ons weten wat uw ervaring is met het gebruik van Wget om bestanden te downloaden via de HTTP-, HTTPS- en FTP-protocollen. Als u andere toepassingen van Wget kent waarvan u denkt dat ze op deze lijst moeten staan, laat het ons dan weten in de sectie Opmerkingen hieronder.