七個使用 wget 命令的技巧

https://linux.cn/article-14007-1.html
作者：Seth Kenlon
譯者：Patrick Zeng

wget 是一個下載網頁文件的免費工具。它將互聯網上的數據保存到一個文件或展示在終端上。實際上這也是像 Firefox 或 Chromium 這樣的網頁瀏覽器的工作原理。有一個區別是，網頁瀏覽器默認將網頁渲染 (render) 在圖形窗口中，並且通常需要用戶主動來操作它們。而 wget 工具是無交互的使用方式，也就是說你可以使用腳本或定期使用 wget 來下載文件，不論你人是否在電腦面前。

使用 wget 下載文件

你可以通過提供一個特定 URL 的鏈接，用 wget 下載一個文件。如果你提供一個默認爲 index.html 的 URL，那麼就會下載該索引頁。默認情況下，文件會被下載到你當前的工作目錄，並保持原來的名字。

$ wget http://example.com
--2021-09-20 17:23:47-- http://example.com/
Resolving example.com... 93.184.216.34, 2606:2800:220:1:248:1893:25c8:1946
Connecting to example.com|93.184.216.34|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1256 (1.2K) [text/html]
Saving to: 'index.html'

通過使用 --output-document 和 - 符號，你可以指示 wget 將數據發送到標準輸出 (stdout)：

$ wget http://example.com --output-document - | head -n4
<!doctype html>
<html>
<head>
   <title>Example Domain</title>

你可以使用 --output-document 選項（簡寫爲 -O）將下載文件命名爲任何你想要的名稱：

$ wget http://example.com --output-document foo.html

斷點續傳

如果你正在下載一個超大文件，你可能會遇到中斷下載的情況。使用 --continue（簡寫爲 -c），wget 可以確定從文件的哪個位置開始繼續下載。也就是說，下次你在下載一個 4 GB 的 Linux 發行版 ISO 時，如果出現了錯誤導致中斷，你不必重新從頭開始。

$ wget --continue https://example.com/linux-distro.iso

下載一系列的文件

如果你要下載的不是單個大文件，而是一系列的文件，wget 也能提供很好的幫助。假如你知道要下載文件的路徑以及文件名的通用範式，你可以使用 Bash 語法指示一個數字範圍的起始和終點來表示這一系列文件名:

$ wget http://example.com/file_{1..4}.webp

鏡像整個站點

使用 --mirror 選項你可以下載整個站點，包括它的目錄結構。這與使用選項 --recursive --level inf --timestamping --no-remove-listing 的效果是一樣的，該選項表明可以進行無限制的遞歸，得到你指定域下的所有內容。但你也可能會得到比預期多得多的內容，這取決於站點本身的老舊程度。

如果你正在使用 wget 來打包整個站點，選項 --no-cookies --page-requisites --convert-links 非常有用，它可以確保打包的站點是全新且完整的，站點副本或多或少是自包含的 (self-contained)。

修改 HTML 標頭

在計算機發送的通信報文裏含有大量用於數據交換的元數據 (metadata)。HTTP 標頭是初始數據的組成部分。當你瀏覽某個站點時，你的瀏覽器會發送 HTTP 請求標頭。使用 --debug 選項可以查看 wget 爲每個請求發送了什麼樣的標頭信息:

$ wget --debug example.com
---request begin---
GET / HTTP/1.1
User-Agent: Wget/1.19.5 (linux-gnu)
Accept: */*
Accept-Encoding: identity
Host: example.com
Connection: Keep-Alive
---request end---

你可以使用 --header 選項修改請求標頭。實際上經常使用這種方式來模仿某特定瀏覽器，來測試或兼容某些編碼糟糕、只能與特定代理通信的站點。

讓請求被識別爲來自 Windows 系統的 Microsoft Edge：

$ wget --debug --header="User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 Edg/91.0.864.59" http://example.com

你也可以假裝爲某個移動設備：

$ wget --debug --header="User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_5_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Mobile/15E148 Safari/604.1" http://example.com

查看響應標頭

與瀏覽器發送請求標頭的方式一樣，響應也包含有標頭信息。你可以使用 --debug 選項來查看響應中的標頭信息：

$ wget --debug example.com
[...]
---response begin---
HTTP/1.1 200 OK
Accept-Ranges: bytes
Age: 188102
Cache-Control: max-age=604800
Content-Type: text/html; charset=UTF-8
Etag: "3147526947"
Server: ECS (sab/574F)
Vary: Accept-Encoding
X-Cache: HIT
Content-Length: 1256
---response end---
200 OK
Registered socket 3 for persistent reuse.
URI content encoding = 'UTF-8'
Length: 1256 (1.2K) [text/html]
Saving to: 'index.html'

處理 301 響應

200 響應碼意味着一切都在預料之中。而 301 響應則表示 URL 已經被永久遷移到了另外一個地方。這是站點管理員的一種常用手段，內容遷移後，爲訪問舊地址的用戶留下尋找新地址的 “線索”。wget 會默認跟隨重定向 (redirect)，這也是大部分情況下用戶所希望的。

當然，你可以使用 --max-redirect 選項，用於控制 wget 默認處理 301 響應重定向的次數。設置爲 0 意味着不會自動重定向到新的地址:

$ wget --max-redirect 0 http://iana.org
--2021-09-21 11:01:35-- http://iana.org/
Resolving iana.org... 192.0.43.8, 2001:500:88:200::8
Connecting to iana.org|192.0.43.8|:80... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://www.iana.org/ [following]
0 redirections exceeded.

同時，你也可以設置爲其他的數值來控制 wget 能重定向多少次。

展開 URL 縮寫

使用--max-redirect 選項用於在實際訪問之前查看 URL 縮寫 (shortened URL) 非常有用。縮寫 URL 可用於用戶無法完整拷貝和粘貼一個長 URL 時的印刷媒體 (print media)，或是具有字數限制的社交網絡（在類似 Mastondon🔗 opensource.com 這種現代開源的社交網絡上這並不是一個問題）。這種縮寫具有一定的風險，因爲本質上這些目的地是隱藏的。組合使用 --head 選項和 --location 選項來來查看 HTTP 頭部並解開最終的目的地，你可以在不加載整個資源的情況下查看到縮寫 URL 的完整內容：

$ wget --max-redirect 0 "https://bit.ly/2yDyS4T"
--2021-09-21 11:32:04-- https://bit.ly/2yDyS4T
Resolving bit.ly... 67.199.248.10, 67.199.248.11
Connecting to bit.ly|67.199.248.10|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: http://example.com/ [following]
0 redirections exceeded.

從 Location 開始的倒數第二行輸出，展示了實際的目的地。

使用 wget

若你開始考慮使用單個命令來實現整個網站訪問的過程，wget 可以快速高效的幫你獲取互聯網上的信息，而不用在圖形界面上耗費精力。爲了幫你將它構造在你平常的工作流中，我們創建了一個 wget 常用使用方式和語法清單，包括使用它來查詢 API 的概述。在這裏下載 Linux wget 速查表🔗 opensource.com。

來源: https://opensource.com/article/21/10/linux-wget-command

作者：Seth Kenlon 選題：lujun9972 譯者：zengyi1001 校對：wxy

本文由 LCTT 原創編譯，Linux 中國榮譽推出

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/ceQkJAZdbhYE9hz9KBun1A

猜你喜歡