引言
在現代Web應用中，文件上傳功能已成為基礎服務之一。尤其對于大文件（如視頻、壓縮包、設計稿等），普通的上傳方式往往面臨網絡中斷、頁面刷新或關閉導致上傳失敗的問題。為此，實現大文件的“秒傳”與“斷點續傳”功能，成為提升用戶體驗、保障數據完整性的關鍵技術需求。本文將深入探討在Web端實現這兩大功能的核心技術方案。
一、秒傳功能實現
秒傳，即當用戶上傳一個文件時，如果服務器已存在相同的文件，則無需再次上傳整個文件，而是立即返回成功。其核心原理是文件內容哈希校驗。
1. 技術原理
服務器在存儲文件時，不僅保存文件本身，還會計算并存儲其唯一標識符（通常使用MD5、SHA-1等哈希算法生成）。當客戶端上傳文件前，先計算本地文件的哈希值并發送給服務器進行查詢。若服務器已存在相同哈希值的文件，則視為同一文件，直接建立關聯關系，實現“秒傳”。
2. 實現步驟
- 前端計算文件哈希值：使用
File API的slice方法將文件分片，利用SparkMD5等庫在Web Worker中計算文件哈希，避免阻塞主線程。 - 請求校驗：將計算出的哈希值（如MD5）發送至服務器專用接口（如
/api/upload/check）。 - 服務器響應：服務器在數據庫中查詢該哈希值。若存在，則返回已上傳文件的信息（如URL、文件ID）；若不存在，則返回需要上傳的指示。
- 前端處理：根據服務器響應，若已存在，則直接顯示上傳成功；若不存在，則進入分片上傳流程。
3. 注意事項
- 哈希計算性能：大文件哈希計算耗時，需在后臺進行并提供進度反饋。
- 哈希碰撞：雖然概率極低，但理論上存在不同文件哈希值相同的可能。對于關鍵業務，可考慮在哈希匹配后，再對文件首尾部分進行二次校驗。
二、斷點續傳功能實現
斷點續傳，指當文件上傳過程因網絡中斷、頁面關閉等原因中斷后，再次上傳時可以從上次中斷的位置繼續上傳，而非重新開始。
1. 技術原理
將大文件分割成固定大小的多個小塊（例如每片1MB），并逐一上傳。服務器記錄已成功接收的文件塊。當上傳中斷后再次發起時，客戶端向服務器查詢已上傳的塊列表，只上傳剩余的部分，最后在服務器端將所有塊合并成完整的文件。
2. 實現步驟
前端流程：
1. 文件分片：使用File.prototype.slice方法將文件切割成多個Blob塊。
2. 生成唯一標識：為本次上傳任務生成一個唯一uploadId（可結合文件哈希、用戶ID、時間戳生成），用于標識整個上傳會話。
3. 查詢上傳進度：在上傳開始前，將uploadId和文件哈希發送至服務器接口（如/api/upload/progress），查詢已上傳的分片索引列表。
4. 分片上傳：跳過已上傳的分片，只上傳剩余分片。每個分片上傳請求需攜帶：uploadId、當前分片索引chunkIndex、總分片數totalChunks、文件哈希等元數據。
5. 并發控制：可同時上傳多個分片以加速，但需注意瀏覽器并發請求限制，通常使用隊列管理。
6. 完整性校驗與合并請求：所有分片上傳完畢后，發送一個合并請求（如/api/upload/merge），通知服務器根據uploadId合并所有分片，并進行最終的文件哈希校驗。
服務器端流程：
1. 接收分片：根據uploadId將上傳的分片臨時存儲（如在磁盤或對象存儲的臨時目錄）。
2. 記錄進度：更新該uploadId對應的已上傳分片索引記錄（可存儲在數據庫或Redis中）。
3. 合并文件：收到合并請求后，按索引順序讀取所有臨時分片，合并成最終文件，存儲至永久位置，并保存文件哈希。
4. 清理臨時資源：合并成功后，刪除臨時分片文件及相關進度記錄。
3. 核心優化點
- 臨時存儲策略：分片臨時文件可存儲于高速介質（如SSD），合并后及時清理。
- 進度持久化：上傳進度應持久化存儲（如數據庫），即使服務器重啟也能恢復。
- 網絡容錯：對每個分片上傳實現自動重試機制。
- 前端狀態保存：利用
localStorage或IndexedDB在瀏覽器端保存上傳進度，即使頁面刷新也能恢復任務列表。
三、完整技術架構示例
一個結合了秒傳與斷點續傳的完整上傳流程如下：
- 用戶選擇文件。
- 前端計算文件哈希，并向服務器發起預檢請求（攜帶哈希值）。
- 服務器返回結果：
- 情況A（秒傳）：文件已存在，直接返回文件訪問URL，流程結束。
- 情況B（全新/續傳）：文件不存在或未完成，返回
uploadId及已上傳的分片索引列表（對于新文件，列表為空）。
- 前端根據返回的已上傳列表，組織剩余分片的上傳任務。
- 分片上傳并發執行，并實時展示進度。
- 全部分片上傳完畢后，前端發送合并請求。
- 服務器合并文件，校驗完整性，返回最終文件URL。
- 前端標記上傳任務完成。
四、服務端與存儲考慮
- 后端框架：Node.js (Koa/Express)、Java (Spring Boot)、Go等均可，需設計好對應的分片接收、臨時管理、合并接口。
- 存儲服務：
- 直接服務器磁盤：適合中小規模，需注意磁盤IO和容量規劃。
- 對象存儲服務（如阿里云OSS、騰訊云COS、AWS S3）：它們通常原生支持分片上傳API（如Multipart Upload），可直接利用其SDK簡化開發，且具備高可靠性。此時服務器主要承擔流程協調和進度跟蹤的角色。
五、安全與擴展
- 安全：需對上傳請求進行身份認證與授權；對文件類型、大小進行限制；對合并后的文件進行病毒掃描。
- 擴展：對于超大規模并發，可將進度信息存儲在Redis等高性能緩存中；上傳接口可設計為無狀態，便于水平擴展。
##
實現Web端大文件的秒傳與斷點續傳，通過前端分片、哈希去重、服務端進度跟蹤與分片合并等技術組合，能夠顯著提升大文件上傳的可靠性、速度和用戶體驗。在具體實踐中，可根據業務規模選擇自建服務或集成云存儲的現有方案，在功能與成本之間取得最佳平衡。
