Kajax propose en option un module dénommé Online qui permet de monitorer en temps réel (avec un flush conditionnel de la table toutes les 60 secondes) les connexions au site.
Outre le fait qu'il donne des informations relatives à la naviguation, à la langue utilisée ou encore au nombre de pages vues, il permet aussi de savoir si des bots sont en train de crawler votre site (autrement dit de le parcourir afin de mettre à jour leurs index respectifs).
Certains clients m'ont demandés si ces données étaient fiables, la réponse est mitigée.
Tous les connexions entrantes ont une IP associée, par exemple 66.249.64.1. Dans 99% cas, l'ip peut être convertie en une DNS via nslookup (vous obtenez ce qu'on appelle un hostname). Voici un site proposant ce type de service : www.hcidata.info/host2ip.cgi
Si vous rentrez l'IP 66.249.64.1, vous obtiendrez : crawl-66-249-64-1.googlebot.com, un hostname qui correspond parfaitement au schéma fourni par Google et qui pourrait laisser supposer que c'est bien un des robots Google. Cependant, n'importe qui peut fournir n'importe quel hostname ... il est donc nécessaire de vérifier que le reverse de crawl-66-249-64-1.googlebot.com est bien 66.249.64.1, ce que Google ne permet pas (je serais curieux de savoir pourquoi au passage vu que l'hostname est clairement ip dépendant).
Pour être sur à 99.9999% qu'un utilisateur est bel et bien un bot, il faut pouvoir vérifier l'hostname et avoir la confirmation via le reverse dns. En clair, non, ces données ne sont pas fiables à 100% ...
Je me tate très sérieusement à créer un système d'auto blocage contre certains bots sans scrupule, tel que CyberAlert qui a tendance à crawler le site par plage de 100 pages ... Ou comment faire monter en charge le site pour rien, car il pourrait très bien adapter sa vitesse de crawl en fonction de la géolocalisation du serveur et des plages horaires de monter en charge pour la zone en question.
Je verrais ça pour la version 2.6, si j'ai le temps.
©2004-2012 - Kolibot.fr - Généré par Kajax 2.5rc4(Ajax désactivé)