Crawl

SpiderPro permet de crawler votre site web de manière efficace et configurable.

Fonctionnalités principales

• Crawl jusqu'à 100 000 pages (Plan Pro)
• Respect du robots.txt optionnel
• Gestion des cookies et headers personnalisés
• Détection automatique des sitemaps

Comment démarrer un crawl

1. Entrez l'URL de votre site dans la barre d'adresse
2. Configurez les options selon vos besoins
3. Cliquez sur "Démarrer le crawl"

Options de crawl

Option	Description
Max pages	Nombre maximum de pages à crawler
JavaScript	Activer le rendu JavaScript (Pro)
Captures	Sauvegarder le HTML rendu
Screenshots	Capturer des screenshots (Pro)

TIP

Pour les sites JavaScript (React, Vue, Angular), activez le rendu JavaScript pour obtenir le contenu complet.