Come posso scaricare un intero sito web?

1TRACK1 funziona come un campione per copiare il contenuto di un intero sito. Questo strumento può anche prendere i pezzi necessari per far funzionare offline un sito web con contenuto di codice attivo. Sono stupito dalle cose che può replicare offline.

Questo programma farà tutto ciò che gli chiedete.

Buona caccia!

Wget è un classico strumento a riga di comando per questo tipo di compito. Viene fornito con la maggior parte dei sistemi Unix/Linux, e si può ottenere anche per Windows. Su un Mac, Homebrew è il modo più semplice per installarlo (brew install wget).

Dovresti fare qualcosa come:

wget -r --no-parent http://site.com/songs/

Per maggiori dettagli, vedi Wget Manual e i suoi esempi, o per esempio questi:

• wget: scaricare interi siti web facilmente

• Esempi e script Wget

Affronterò il buffering online che i browser utilizzano...

In genere la maggior parte dei browser utilizza una cache di navigazione per mantenere i file scaricati da un sito web per un po' in modo da non dover scaricare immagini statiche e contenuti più e più volte. Questo può accelerare un po' le cose in alcune circostanze. In generale, la maggior parte delle cache dei browser sono limitate a una dimensione fissa e quando raggiungono quel limite, cancellano i file più vecchi nella cache.

Gli ISP tendono ad avere server di cache che mantengono copie di siti web comunemente accessibili come ESPN e CNN. Questo risparmia loro la fatica di colpire questi siti ogni volta che qualcuno sulla loro rete ci va. Questo può rappresentare un risparmio significativo nella quantità di richieste duplicate a siti esterni all'ISP.