Durante un piccolo SEO esperimento ho scoperto un nuovo amichetto ragniforo che tesseva la sua tela dentro i miei file di log. E’ noto che postando su Twitter un url, istantaneamente due spider partono verso il sito linkato: Googlebot e Yahoo! Slurp.
Non sono più soli, è arrivato anche TwitterBot. Ancora non è noto cosa questo nuovo amichetto dei server web faccia nella sua analisi. Probabilmente è solo figlio del nuovo servizio di accorciamento url che ha promosso in questi giorni babbo Twitter.
Tant’è che anche il famoso accorciatore Bit.ly effettua una verifica simile: nei log dei destinatari di uno short bitly link troverete sicuramente “bitlybot”. Cosa faranno? Molto probabilmente verificano l’esistenza del sito, prima di restituire l’effettivo link e basta.
In poco meno di 500 ms penso non riesca a fare altro, cosa ne dite? Ma che succede se lato server inibiamo l’accesso a TwitterBot? Non accorcia più i link? A voi il test: io ho lanciato la palla e il portiere sembra distratto 😉
Dimenticavo di donarvi la riga del log:
199.59.149.45 www.*******.com - [29/Jun/2011:12:58:07 +0200] "HEAD / HTTP/1.1" 200 - "-" "Twitterbot/0.1"
Si… siete dei puntigliosi. Ho già controllato quell’IP e corrisponde a Google 🙂