Contexte, Défis et Complexités
Le développement du “Crawler Médical” a été un voyage technique stimulant. La navigation dans le monde du web scraping nécessite précision et adaptabilité, en particulier lors de l’extraction de données médicales essentielles.
Au départ, l’utilisation du JavaScript et du DOM m’a permis d’acquérir les compétences fondamentales pour ce projet. Cependant, il est rapidement devenu évident que face à la variété des structures web des sites médicaux, une approche plus robuste était nécessaire.
C’est là qu’intervient TypeScript (TS). TS n’a pas seulement ajouté une vérification de type forte, rendant le code plus fiable, mais il a aussi joué un rôle clé dans l’uniformisation du code. Cette standardisation a rendu le crawler plus maintenable, surtout lorsqu’il s’agissait de travailler en équipe. Pour renforcer cette uniformité, nous avons intégré un linter, qui a non seulement assuré la cohérence du style de codage, mais a également aidé à détecter et prévenir les erreurs potentielles de manière proactive.
J’ai pu bénéficier de l’aide d’experts pour certains algorithmes plus complexes, l’ensemble du projet m’a appris l’importance de la collaboration, de l’apprentissage continu et de l’adaptabilité.
L’utilisation combinée de regex101 pour les expressions régulières et de Git/GitHub pour la gestion collaborative du code a renforcé la robustesse de notre crawler.