Parfois, il ne suffit pas d'enregistrer un site Web localement depuis votre navigateur. Parfois, vous avez besoin d'un peu plus de puissance. Pour cela, il existe un petit outil de ligne de commande appelé Wget. Wget est un programme simple qui est capable de télécharger des fichiers sur Internet. Vous pouvez déjà en savoir plus sur Wget, mais après avoir lu cet article, vous serez prêt à l'utiliser pour toutes sortes de trucs.
Wget est disponible pour utiliser nativement en ligne de commande UNIX et Windows, mais il est possible d'installer wget sur Mac OS X Comment obtenir Wget pour votre Mac Comment obtenir Wget pour votre Mac Les Macs sont géniaux, avec leur interface utilisateur soignée et un Unix -fin. Parfois, vous avez l'impression que vous pouvez faire n'importe quoi avec eux. Jusqu'au jour où vous essayez de faire quelque chose de simple et vous ... Lire la suite avec un peu de cajolerie. Donc, une fois que vous connaissez le genre de choses que vous pouvez utiliser pour Wget, il est portable quel que soit l'OS que vous utilisez - et c'est pratique. Ce qui est encore mieux, c'est que wget peut être utilisé dans les fichiers batch et les tâches cron. C'est là que nous commençons à voir le vrai pouvoir derrière wget.
Wget de base
L'utilisation de base est l' URL wget .
wget http://makeuseof.com/
Les options les plus simples que la plupart des gens doivent savoir sont background ( wget -b ), continuer le téléchargement partiel ( wget -c ), le nombre d'essais ( wget -tries = NUMBER ) et bien sûr aider ( wget -h ) à se rappeler de tous les options.
wget -b -c --tries = NUMBER URL
Options Wget moyennement avancées
Wget peut aussi fonctionner en arrière-plan (wget -b ), limiter la vitesse du téléchargement ( wget -limit-rate = SPEED ), aucun parent pour s'assurer de ne télécharger qu'un sous-répertoire ( wget -np ), mettre à jour uniquement les fichiers modifiés ( wget -N ), mettre en miroir un site ( wget -m ), s'assurer qu'aucun nouveau répertoire n'est créé ( wget -nd ), n'accepter que certaines extensions ( wget -accept = LIST ) et définir un temps d'attente ( wget -wait = SECONDS ) .
wget -b --limit-rate = VITESSE -np -N -m -nd --accept = LISTE --wait = URL SECONDS
Télécharger avec Wget récursivement
Vous pouvez télécharger récursivement ( wget -r ), étendre les hôtes à d'autres domaines ( wget -H ), convertir les liens en versions locales ( wget -convert-links ) et définir le niveau de récursions ( wget -level = NUMBER en utilisant inf ou 0 pour infini ).
Mais certains sites ne veulent pas vous laisser télécharger de manière récursive et vérifieront quel navigateur vous utilisez pour tenter de bloquer le bot. Pour contourner ce problème, déclarez un agent utilisateur tel que Mozilla ( wget -user-agent = AGENT ).
wget -r -H --convert -liens --level = NUMBER --user-agent = URL de l'AGENT
Mot de passe protégé Wget
Il est possible de déclarer le nom d'utilisateur et le mot de passe pour une URL particulière en utilisant wget ( wget -http-user = USER -http-password = PASS ). Ceci n'est pas recommandé sur les machines partagées car tout utilisateur visualisant les processus pourra voir le mot de passe en texte brut.
wget --http-user = USER --http-password = URL PASS
Un exemple de ceci dans l'action est en utilisant wget pour sauvegarder vos tâches de Remember the Milk Best Back-Up Conseils pour vos tâches RememberTheMilk Meilleurs conseils de sauvegarde pour vos tâches RememberTheMilk Pour beaucoup d'entre nous qui travaillent dans le nuage, nous sommes venus compter sur nos services préférés assez fortement. Nous les aimons parfois aussi et leur faisons peut-être un peu plus confiance que nous ne devrions parfois ... En savoir plus.
Wget Bulk Télécharger
Tout d'abord, créez un fichier texte de toutes les URL que vous voulez télécharger en utilisant wget et appelez-le wget_downloads.txt . Ensuite, pour télécharger les URL en masse, tapez cette commande:
wget -i wget_downloads.txt
Cool utilise pour Wget
Cela va explorer un site Web et générer un fichier journal de tous les liens rompus:
wget --spider -o wget.log -e robots = désactivé --attendre 1 -r -p http://www.mysite.com/
Cela prendra un fichier texte de vos blogs musicaux préférés et téléchargera de nouveaux fichiers MP3:
wget -r --level = 1 -H --timeout = 1 -et -N -np --accept = mp3 -e robots = off -i musicblogs.txt
Qu'est-ce que vous utilisez d'autre pour wget?
Crédit d'image: Connexion aux médias sociaux via ShutterStock, un jeune homme regarde la télévision via Shutterstock, Globe via Shutterstock