Rendu JavaScript

SpiderPro peut exécuter le JavaScript des pages pour crawler les applications modernes (React, Vue, Angular, etc.).

Pourquoi utiliser le rendu JavaScript ?

Les sites modernes utilisent souvent JavaScript pour générer le contenu. Sans rendu JS, le crawler ne voit que le HTML initial, souvent vide.

Exemples de sites nécessitant le rendu JS

• Applications React/Vue/Angular
• Sites avec chargement dynamique
• Pages avec contenu lazy-loaded
• SPAs (Single Page Applications)

Activation

Dans les paramètres de crawl :

1. Activez Rendu JavaScript
2. Optionnellement, configurez le délai d'attente

Configuration

Délai d'attente

Temps maximum pour le rendu d'une page (par défaut : 30 secondes).

Attendre les sélecteurs

Attendez qu'un élément spécifique soit présent avant de capturer le contenu :

.main-content
#article-body

Captures d'écran

Activez pour sauvegarder une capture de chaque page. Utile pour :

• Vérifier le rendu visuel
• Détecter les problèmes d'affichage
• Documentation

Performances

Le rendu JavaScript est plus lent que le crawl HTML simple :

Mode	Vitesse approximative
HTML seul	50-100 pages/min
Avec JS	5-20 pages/min

TIP

N'activez le rendu JS que si nécessaire. Testez d'abord quelques pages.

Résolution des problèmes

Pages blanches

• Augmentez le délai d'attente
• Vérifiez si le site bloque les bots

Contenu manquant

• Ajoutez un sélecteur d'attente
• Vérifiez la console JavaScript dans l'inspecteur

Timeouts

• Réduisez la concurrence
• Augmentez le délai d'attente