Как мога да изтегля цял уебсайт?

HTTRACK работи като шампион за копиране на съдържанието на цял сайт. Този инструмент може дори да вземе частите, необходими за функционирането на уебсайт с активен код в офлайн режим. Удивен съм от нещата, които може да копира офлайн.

Тази програма ще направи всичко, което изисквате от нея.

Успешен лов!

Wget е класически инструмент от командния ред за този вид задачи. Той се доставя с повечето Unix/Linux системи, а можете да го получите и за Windows. За Mac най-лесният начин да го инсталирате е Homebrew (brew install wget).

Ще направите нещо подобно:

wget -r --no-parent http://site.com/songs/

За повече подробности вижте Wget Manual и неговите examples, или например тези:

• wget: Лесно изтегляне на цели уебсайтове.

• Wget примери и скриптове.

Ще се спра на онлайн буферирането, което браузърите използват...

Обикновено повечето браузъри използват кеш за сърфиране, за да запазят файловете, които изтегляте от даден уебсайт, за известно време, така че да не се налага да изтегляте статични изображения и съдържание отново и отново. При някои обстоятелства това може да ускори работата доста. Като цяло кешът на повечето браузъри е ограничен до определен размер и когато достигне тази граница, той изтрива най-старите файлове в кеша.

Доставчиците на интернет услуги обикновено разполагат с кеширащи сървъри, които съхраняват копия на често посещавани уебсайтове като ESPN и CNN. Това им спестява необходимостта да проверяват тези сайтове всеки път, когато някой от мрежата им отиде там. Това може да доведе до значителни икономии на количеството дублирани заявки към външни сайтове на доставчика на интернет услуги.