本文详细介绍了如何利用 wget 命令将完整的网页及其关联资源（如CSS、JavaScript、图片）下载到本地文件系统。通过使用 –recursive 和 –page-requisites 等选项，用户可以获取结构清晰、文件分离的网页副本，便于后续的本地定制、修改以及版本控制管理，从而满足离线浏览或二次开发的需求。

在现代网页开发和内容管理中，有时我们需要将一个完整的网页及其所有相关资源（如html、css样式表、javascript脚本、图片等）下载到本地进行离线浏览、定制修改或作为项目基础。传统的浏览器“另存为”功能往往会将所有内容打包到一个html文件中，或者生成一个结构混乱的文件夹，这对于需要精细化管理和版本控制的开发者来说并不理想。此时，wget 这一强大的命令行工具便能派上用场，它能帮助我们以结构化的方式下载网页，并自动分离各类资源。

使用 Wget 下载并分离网页资源

wget 是一个非交互式的网络下载工具，支持HTTP、HTTPS和FTP协议。它能够递归下载整个网站，并根据需要下载所有页面依赖的资源。

要将一个网页及其所有依赖资源（CSS、JS、图片等）下载到本地，并保持它们各自独立的文件结构，可以使用以下 wget 命令：

wget --recursive --page-requisites --no-parent https://www.example.com/

让我们详细解析这个命令中的各个选项：

• –recursive (或 -r): 这个选项指示 wget 递归地下载链接到的所有页面。对于一个完整的网站下载而言，这是必不可少的，因为它会跟随网页内部的链接，下载多层级的内容。
• –page-requisites (或 -p): 这是实现资源分离的关键选项。它会下载显示HTML页面所需的所有文件，包括CSS样式表、JavaScript文件、图片、字体等。wget 会尝试重写HTML文件中的链接，使其指向本地下载的资源。
• –no-parent (或 -np): 这个选项的作用是防止 wget 爬取到指定URL的父目录。例如，如果从 https://www.example.com/blog/article1.html 开始下载，–no-parent 会阻止 wget 尝试下载 https://www.example.com/blog/ 或 https://www.example.com/ 下的其他内容，从而将下载范围限制在当前路径及其子路径内，避免下载不必要的内容。
• https://www.example.com/: 这是你希望下载的目标网页的URL。请将其替换为实际的网址。

执行上述命令后，wget 会在当前目录下创建一个以目标域名命名的文件夹（例如 www.example.com），并将下载的所有HTML文件、CSS文件、JavaScript文件、图片等分别存放在该文件夹及其子目录中，例如 www.example.com/index.html、www.example.com/css/style.css、www.example.com/js/script.js、www.example.com/images/logo.png 等，从而实现了资源的清晰分离。

Closers Copy

营销专用文案机器人

23

查看详情

适用于版本控制（Git）的管理

通过 wget 下载的这种结构化文件集合，非常适合进行版本控制管理，特别是与Git结合使用。一旦网页内容被下载到本地目录，你可以轻松地将其初始化为一个Git仓库：

cd www.example.com/ # 进入下载的网页目录 git init           # 初始化一个新的Git仓库 git add .          # 将所有文件添加到暂存区 git commit -m "Initial download of www.example.com" # 提交初始版本

这样，你就可以开始对下载的网页进行本地定制、修改，并通过Git跟踪所有变更，方便回溯和协作。

注意事项与进阶用法

1. 尊重 robots.txt 和版权： 在下载任何网站内容之前，请务必检查该网站的 robots.txt 文件，了解其爬取策略。同时，下载内容应遵守相关版权法律和网站的使用条款。通常，这种下载仅限于个人学习、研究或已获得授权的二次开发。
2. 处理动态内容： wget 主要用于下载静态资源。对于大量依赖JavaScript动态加载内容的网站（如单页应用SPA），wget 可能无法捕获所有内容。在这种情况下，你可能需要考虑使用无头浏览器（如Puppeteer、Selenium）来模拟用户交互并渲染页面，然后保存其DOM结构。
3. 用户代理（User-Agent）： 某些网站可能会阻止默认的 wget 用户代理。你可以使用 –user-agent 选项来模拟浏览器访问，例如：

   wget --recursive --page-requisites --no-parent --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) appleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" https://www.example.com/
4. 下载速度与服务器压力： 大规模递归下载可能会对目标服务器造成压力。可以使用 –wait=N (等待N秒) 或 –limit-rate=AMOUNT (限制下载速度) 等选项来控制下载行为，避免被封禁IP。
5. 排除或包含特定文件类型： 如果你只想下载特定类型的文件，或排除某些文件，可以使用 –accept 或 –reject 选项，例如：

   # 只下载html和css文件 wget --recursive --page-requisites --no-parent --accept=html,css https://www.example.com/
6. 保存到指定目录： 使用 -P 或 –directory-prefix 选项可以将下载内容保存到指定的目录中，而不是当前目录。

   wget --recursive --page-requisites --no-parent -P /path/to/your/project https://www.example.com/

总结

wget 是一个功能强大且灵活的工具，能够有效地将完整的网页及其分离的HTML、CSS、JavaScript等资源下载到本地文件系统。通过合理利用其命令行选项，开发者不仅可以获取结构清晰的网页副本，还能为后续的本地定制、离线浏览以及与Git等版本控制系统的集成打下坚实的基础，极大地提升了网页内容管理的效率和便捷性。