Hoe kun je alle pagina's van een domein zien?

Het zou handig zijn voor mij als ik alle pagina's van een site kan zien,
ik snap dat er bij een aantal waarschijnlijk staat 403 forbidden ofzo.
Maar ik zou graag willen weten of je dit op de één of andere manier zou kunnen zien :)

Weet jij het antwoord?

/2500

Het beste antwoord

Met een programma wat 'webreaper' heet, hierin stel je in hoe diep je een site met alle content wilt rippen, en dan gaat ie z'n gang... stel het niet te diep in (niveau 1 is al best stoer) anders gaat ook alle (externe) referals af en dan kan het dagen duren... Toegevoegd na 27 minuten: externe als in buiten dat domein dus....

Bronnen:
http://www.webreaper.net/

Stel zelf een vraag

Ben je op zoek naar het antwoord die ene vraag die je misschien al tijden achtervolgt?

/100