Durante un piccolo SEO esperimento ho scoperto un nuovo amichetto ragniforo che tesseva la sua tela dentro i miei file di log. E’ noto che postando su Twitter un url, istantaneamente due spider partono verso il sito linkato: Googlebot e Yahoo! Slurp.

Non sono più soli, è arrivato anche TwitterBot. Ancora non è noto cosa questo nuovo amichetto dei server web faccia nella sua analisi. Probabilmente è solo figlio del nuovo servizio di accorciamento url che ha promosso in questi giorni babbo Twitter.

Tant’è che anche il famoso accorciatore Bit.ly effettua una verifica simile: nei log dei destinatari di uno short bitly link troverete sicuramente “bitlybot”. Cosa faranno? Molto probabilmente verificano l’esistenza del sito, prima di restituire l’effettivo link e basta.

In poco meno di 500 ms penso non riesca a fare altro, cosa ne dite? Ma che succede se lato server inibiamo l’accesso a TwitterBot? Non accorcia più i link? A voi il test: io ho lanciato la palla e il portiere sembra distratto 😉

Dimenticavo di donarvi la riga del log:

199.59.149.45 www.*******.com - [29/Jun/2011:12:58:07 +0200] 
"HEAD / HTTP/1.1" 200 - "-" "Twitterbot/0.1"

Si… siete dei puntigliosi. Ho già controllato quell’IP e corrisponde a Google 🙂