Πώς μπορώ να κατεβάσω έναν ολόκληρο ιστότοπο;

Το HTTRACK λειτουργεί σαν πρωταθλητής για την αντιγραφή των περιεχομένων ενός ολόκληρου ιστότοπου. Αυτό το εργαλείο μπορεί ακόμη και να αρπάξει τα κομμάτια που απαιτούνται για να κάνει έναν ιστότοπο με ενεργό περιεχόμενο κώδικα να λειτουργήσει εκτός σύνδεσης. Εκπλήσσομαι με τα πράγματα που μπορεί να αντιγράψει εκτός σύνδεσης.

Αυτό το πρόγραμμα θα κάνει όλα όσα χρειάζεστε από αυτό.

Καλό κυνήγι!

Το Wget είναι ένα κλασικό εργαλείο γραμμής εντολών για τέτοιου είδους εργασίες. Συμπεριλαμβάνεται στα περισσότερα συστήματα Unix/Linux και μπορείτε να το αποκτήσετε και για Windows. Σε Mac, το Homebrew είναι ο ευκολότερος τρόπος για να το εγκαταστήσετε (brew install wget).

Θα κάνετε κάτι σαν:

wget -r --no-parent http://site.com/songs/

Για περισσότερες λεπτομέρειες, δείτε το Wget Manual και τα παραδείγματα, ή π.χ. αυτά:

• wget: Λήψη ολόκληρων ιστοσελίδων εύκολα

• Παραδείγματα και σενάρια του Wget

Θα ασχοληθώ με το online buffering που χρησιμοποιούν τα προγράμματα περιήγησης...

Συνήθως τα περισσότερα προγράμματα περιήγησης χρησιμοποιούν μια προσωρινή μνήμη περιήγησης για να διατηρούν τα αρχεία που κατεβάζετε από έναν ιστότοπο για λίγο, ώστε να μην χρειάζεται να κατεβάζετε στατικές εικόνες και περιεχόμενο ξανά και ξανά. Αυτό μπορεί να επιταχύνει αρκετά τα πράγματα υπό ορισμένες συνθήκες. Σε γενικές γραμμές, οι περισσότερες κρυφές μνήμες περιήγησης περιορίζονται σε ένα σταθερό μέγεθος και όταν φτάσει σε αυτό το όριο, θα διαγράψει τα παλαιότερα αρχεία στην κρυφή μνήμη.

Οι πάροχοι υπηρεσιών διαδικτύου τείνουν να διαθέτουν διακομιστές προσωρινής αποθήκευσης που διατηρούν αντίγραφα ιστοτόπων με συχνή πρόσβαση, όπως το ESPN και το CNN. Έτσι, γλιτώνουν τον κόπο να επισκέπτονται αυτές τις τοποθεσίες κάθε φορά που κάποιος από το δίκτυό τους πηγαίνει εκεί. Αυτό μπορεί να ισοδυναμεί με σημαντική εξοικονόμηση του ποσού των επαναλαμβανόμενων αιτήσεων σε εξωτερικούς ιστότοπους για τον πάροχο υπηρεσιών διαδικτύου.