從 HTTP 角度看 Go 如何實現文件提交

早前寫過一篇文章,Go HTTP 請求 QuickStart。當時,主要參考 Python 的 requests 大綱介紹 Go 的 net/http 如何發起 HTTP 請求。

最近,嘗試錄成它的視頻,訪問地址 [1]。發現當時寫得挺詳細的,可能是標題沒起好,QuickStart 把文章降低好幾個檔次,發出來後,一個點贊都沒有,傷心的同時,也領悟到了標題的重要性。

雖說比較詳細,但也只是介紹用法,可能不知其所以然。比如文件上傳那部分,如果不瞭解 http 文件上傳協議 RFC 1867[2],就很難搞懂爲什麼代碼這麼寫。

今天,就以這個話題爲基礎,介紹下 Go 如何實現文件上傳。

相關代碼請訪問 httpdemo/post[3]。

簡介

HTTP 上傳文件主要是三個步驟,分別是組織請求體,設置 Content-Type 和發送 Post 請求。

POST 請求,使用時主要關注請求體和請求體內容類型。

請求體,即 request body,常用於 POST 請求上。請求體並非 POST 特有,GET 也支持,只不過約定俗成的規定,服務端一般會忽略 GET 的請求體。

Content-Type 是什麼?

因爲,請求體的格式並不固定,可能性很多,爲了明確請求體內容類型,HTTP 定義了一個請求頭 Content-Type。

常見的 Content-Type 選項有 application/x-www-form-urlencoded(默認的表單提交)、application/json(json)、text/xml(xml 格式)、text/plain(純文本)、application/octet-stream(二進制流)等。

提交表單

因爲文件上傳是表單提交的特例,先通過表單提交這個簡單的例子介紹下整個流程。

如下是表單提交的 HTTP 請求文本。

POST http://httpbin.org/post HTTP/1.1
Content-Type: application/x-www-form-urlencoded

username=poloxue&password=123456

Content-Type 是 application/x-www-form-urlencoded,數據通過 urlencoded 方式組織。

先用 html 的 form 表單實現。如下:

<form method="post">
    <input type="text" >
    <input type="password" >
    <input type="submit">
</form>

通過 Post 提交 form 表單,Content-Type 默認是 application/x-www-form-urlencoded

Go 的實現代碼:

data := make(url.Values)
data.Set("username", "poloxue")
data.Set("password", "123456")

// 按 urlencoded 組織數據
body, _ := data.Encode()

// 創建請求並設置內容類型
request, _ := http.NewRequest(
    http.MethodPost,
    "http://httpbin.org/post",
    bytes.NewReader(body),
)

request.Header.Set(
    "content-type",
    "application/x-www-form-urlencoded",
)

http.DefaultClient.Do(request)

回想下前面說的三個步驟,組織請求體數據、設置 Content-Type 和發送請求。

上傳文件 RFC 1867

文件上傳的需求很常見,但默認的 form 表單提交方式並不支持。

如果是單文件上傳,通過 body 二進制流就可以實現。但如果是一些更復雜的場景,如上傳多文件,則需要自定義上傳協議,而且客戶端和服務端都要提供相應的支持。

文件上傳這種常見需求,如果有一套標準豈不更好。爲了解決這個問題,RFC 1867[4] 就誕生了,它主要內容有:

如下是一個支持文件提交的 form 表單。

<form
    action="http://httpbin.org/post"
    method="post"
    enctype="multipart/form-data"
>
  <input type="text" />
  <input type="file" >
  <input type="file" >
  <input type="submit">
</form>

提交表單後,將會看到請求的內容大致形式,如下:

POST http://httpbin.org/post HTTP/1.1
Content-Type: multipart/form-data; boundary=285fa365bd76e6378f91f09f4eae20877246bbba4d31370d3c87b752d350

multipart/form-data; boundary=285fa365bd76e6378f91f09f4eae20877246bbba4d31370d3c87b752d350
--285fa365bd76e6378f91f09f4eae20877246bbba4d31370d3c87b752d350
Content-Disposition: form-data; 
Content-Type: application/octet-stream

upload file1
--285fa365bd76e6378f91f09f4eae20877246bbba4d31370d3c87b752d350
Content-Disposition: form-data; 
Content-Type: application/octet-stream

upload file2
--285fa365bd76e6378f91f09f4eae20877246bbba4d31370d3c87b752d350
Content-Disposition: form-data; 

123
--285fa365bd76e6378f91f09f4eae20877246bbba4d31370d3c87b752d350--

注:如果使用 chrome 瀏覽器的開發者工具,爲了性能考慮,無法看到看到這部分內容。而且,如果提交的是二進制流,只是一串亂碼,也沒什麼可看的。

Content-Type 除了 multipart/form-data,還另外多了 boundary=xxx 的內容。boundary是邊界的意思,相當於 application/x-www-form-urlencoded 方式中的 &,用於分隔不同 input 字段。boundary 之所以這麼複雜,因爲,一般的文本內容使用了 & 就能分離,但如果是文件流,& 可能和內容衝突,對邊界的唯一性要求更高。

multipart/form-data 內容的詳細格式就不介紹了。

Go 實現代碼

開始介紹如何使用 Go 實現文件上傳。主體邏輯依然是組織數據、設置 Content-Type 和發送請求這三步。但這部分數據的組織比 form 表單的 urlencoded 的方式要複雜的多。

Go 的簡潔性這時就體現出來了,因爲,標準庫 mime/multipart 已經提供了非常好用的方法。

假設,現在要實現前面 form 表單的功能,即提交兩個文件,uploadfile1、uploadfile2,和一個字段 words。

首先,創建一個用於保存數據的 byte.Buffer 類型的變量,body,在它之上創建一個 multipart.Writer,用這個 writer 組織將要提交的數據。代碼如下:

bodyBuf := &bytes.Buffer{}
writer := multipart.NewWriter(payloadBuf)

先組織文件內容,兩個文件的組織邏輯相同,就以 uploadfile1 爲例進行介紹。在 writer 之上創建一個 fileWriter,用於寫入文件 uploadFile1 的內容,

fileWriter, err := writer.CreateFormFile("uploadFile1", filename)

打開要上傳的文件,uploadfile1,將文件內容拷貝到 fileWriter中,如下:

f, err := os.Open("uploadfile1")
    ...
io.Copy(fileWriter, f)

添加字段就非常簡單了,假設設置 words 爲 123,代碼如下:

writer.WriteField("words", "123")

完成所有內容設置後,一定要記得關閉 Writer,否則,請求體會缺少結束邊界。

writer.Close()

完成了數據的組織。

接下來,只要將數據設置到 http.Post 就好了。

r, err := http.Post(
    "http://httpbin.org/post",
    writer.FormDataContentType(),
    body,
)

完成了支持文件上傳的表單提交。

總結

本篇文章主要介紹瞭如何使用 Go 實現文件上傳,本質上是組織提交文件的請求體。而爲了能清晰地瞭解請求體的組織過程,就必須清楚相關的 HTTP 協議,rfc 1867[5]。

參考資料

[1]

訪問地址: https://www.bilibili.com/video/av77753893

[2]

RFC 1867: https://tools.ietf.org/html/rfc1867

[3]

httpdemo/post: https://github.com/poloxue/go-series-video/tree/master/httpdemo/post

[4]

RFC 1867: https://tools.ietf.org/html/rfc1867

[5]

rfc 1867: https://tools.ietf.org/html/rfc1867

本文由 Readfog 進行 AMP 轉碼,版權歸原作者所有。
來源https://mp.weixin.qq.com/s/_IwbltYHvH5BPSBhq-S0TQ