一直以为，抓取网站整站，要么需要一个非常牛的工具，要么自己用curl之类写一个。这次想把caddy的英文文档的站点做个镜像的时候，竟然发现可以直接利用wget来实现，还真是小瞧了这个常见的工具了。

wget的参数的详解，网上已经很多了，就不再copy了，有兴趣详细了解的朋友可以参考下面的链接：

• http://man.linuxde.net/wget
• https://blog.csdn.net/f8cncn/article/details/53997773

首先，我想做caddy的doc的镜像的原因是因为经常访问不了，也就是说，不想通过代理才能访问，所以，我需要使用代理的相关命令。因为caddy是https协议，所以我export一个变量https_proxy来作为代理。