¿Cómo puedo descargar un sitio web completo?

HTTRACK funciona como un campeón para copiar el contenido de un sitio entero. Esta herramienta puede incluso tomar las piezas necesarias para hacer que un sitio web con contenido de código activo funcione sin conexión. Estoy sorprendido de las cosas que puede replicar fuera de línea.

Este programa hará todo lo que le pidas.

¡Feliz caza!

Wget es una herramienta clásica de línea de comandos para este tipo de tareas. Viene con la mayoría de los sistemas Unix/Linux, y también se puede conseguir para Windows. En un Mac, Homebrew es la forma más fácil de instalarlo (brew install wget).

Deberías hacer algo como:

wget -r --no-parent http://site.com/songs/

Para más detalles, consulte el Manual de Wget y sus ejemplos, o por ejemplo estos:

• wget: Descargar sitios web enteros fácilmente

• Ejemplos y scripts de Wget

Me referiré al búfer en línea que utilizan los navegadores...

Normalmente, la mayoría de los navegadores utilizan una caché de navegación para mantener los archivos que se descargan de un sitio web durante un tiempo, de modo que no haya que descargar imágenes y contenidos estáticos una y otra vez. Esto puede acelerar bastante las cosas en algunas circunstancias. Por lo general, la mayoría de las cachés de los navegadores están limitadas a un tamaño fijo y, cuando llegan a ese límite, eliminan los archivos más antiguos de la caché.

Los ISP suelen tener servidores de caché que guardan copias de los sitios web más visitados, como ESPN y CNN. Esto les ahorra la molestia de consultar estos sitios cada vez que alguien de su red acude a ellos. Esto puede suponer un importante ahorro en la cantidad de peticiones duplicadas a sitios externos al ISP.