Crawler web

Il y a quelques années de cela, durant l’année 2016, je me suis passionné pour une dimension très spécifique de l’informatique, à savoir l’accès à l’information. J’ai donc travaillé sur des interfaces utilisateurs de meta-moteurs de recherche.

Mon objectif dans la réalisation de ce projet était de moderniser la manière dont l’utilisateur interagit avec son outil.

En 2019, j’ai décidé de créer mon propre crawler web afin de recenser les pages web sur mes propres bases de données sans passer par les résultats tierces.

Le Crawler web est créé en JAVA. Le moteur et son index ont été déployés sur une machine virtuelle OVHCloud avec une base de données MYSQL.

Outils

JAVA pour le crawler, MySQL pour l’index, VPS OVHCloud, HTML et CSS pour l’interface utilisateur, Javascript, PHP côté serveur

Projet personnel démarré en 2018.