Voici venue l'heure de mettre à profit tous les tests effectués précédement pour créer un programme qui génère à partir d'un dossier contenant plusieurs fichier d'URLs un tableau à 5 colonnes avec :
1-Le numéro de l'URL
2-Le liens vers l'adresse URL
3-Le lien vers la page web aspirée
4-Le lien vers le texte extrait de la page web aspirée
5-Le lien vers le texte au format UTF-8 extrait de la page web aspirée
En plus de créer des liens, nous devons donc gérer la capture de pages web, l'extraction de contenu textuel, la reconnaissance et la convertion d'encodage. Tout un programme !!!
Pour mettre au point notre script, nous nous sommes appuyés sur le schéma présenté sur le site du cours à l'adresse suivante:
Pour chaque boucle nous n'avons fait que reprendre et adapter des portions de script vus précédemment.
Afin débugger plus facilement le programme, nous avons ajouté pas mal de commentaires dans le script et nous avons tirer profit au maximum de la commande echo pour suivre le déroulement du programme dans le terminal.
Vous pouvez télécharger notre nouveau script à l'adresse suivante :
Comme vous verrez, nous en avons aussi profité pour arranger un tout petit peu la présentation des tableaux.
Voici des caputres d'écran faites après un test sur quelques URLs seulement :
Tableaux pour 2 fichiers contenant 3 URLS
Vue du terminal pendant l'execution du script
Normalement, nous avons réussi à régler la plupart des problèmes. On constate juste un type d'erreur dans le terminal au moment de converstion d'encodage avec la commande iconv. On trouve par exemple :
iconv: (stdin):8:8: cannot convert
Pourtant, tous les fichiers présentés dans la dernière colonne du tableau semblent avoir été convertis en UTF-8 ?
Il faudra donc éclaircir ce problème un autre jour... ou une autre nuit ;°) !
Parmi les améliorations possibles, on pourra encore :
- améliorer l'organisation des fichiers produits en output
- améliorer la présentation des tableaux
- ajouter une colonne aux tableaux pour les messages d'erreur (type: CURL, Erreur 404, encodage non reconnu...)
- prendre en compte plus d'erreurs que l'erreur 404
Parmi les améliorations possibles, on pourra encore :
- améliorer l'organisation des fichiers produits en output
- améliorer la présentation des tableaux
- ajouter une colonne aux tableaux pour les messages d'erreur (type: CURL, Erreur 404, encodage non reconnu...)
- prendre en compte plus d'erreurs que l'erreur 404
Aucun commentaire:
Enregistrer un commentaire