Probabilmente in certi casi è fatto per tutelare la privacy sui motori di ricerca.
Soprattutto per quanto riguarda l'operazione trasparenza delle Pubbliche Amministrazioni che deve essere bene in vista sul sito.
Nei casi dei quotidiani probabilmente saranno avvocati che avranno diffidato da rendere noto ai motori di ricerca un certo nome.
Anche perchè te magari 20 anni fa hai stuprato una gallina e sei finito su Repubblica e se oggi cerchi lavoro tutti quelli che cercheranno il tuo nome arriveranno alla gallina.
Topic: I meravigliosi robots.txt di repubblica, corriere e governo.it - page 2. (Read 3030 times)
Non ci avevo mai fatto caso. Che bello... 
Assurdo, e poi si ostinano a dire a voce alta che siamo in un paese democratico. Il massimo si raggiunge quando si apre il robots.txt del governo e si leggono i decreti che hanno deciso di non pubblicare 
bella storia...
ma pensa te
ma pensa te
Tutti i siti hanno un robots.txt, queste contiene la lista delle pagine di quel sito che non devono essere indicizzate dai motori di ricerca.
Se si cerca il robot.txt del sito di Repubblica e del Corriere si ottiene una lista BELLISSIMA di articoli, verosimilmente quelli su cui ci sono beghe legali e che l'editore, o il capo-redattore, o chi per loro, ha deciso di non far apparire sui motori di ricerca.
Divertitevi con:
http://www.repubblica.it/robots.txt
http://www.corriere.it/robots.txt
Non sorprendentemente, la maggior parte degli articoli parlano di arresti e corruzione con protagonisti politici o dottori, dei quali compare il nome.
Capita anche con i titolari di grosse aziende.
Ma ancora più bello:
http://www.governo.it/robots.txt
Le pagine censurate sono quelle relative a questa legge:
La legge n. 69 del 18 giugno 2009 (“Disposizioni per lo sviluppo economico, la semplificazione, la competitività nonché in materia di processo civile”) impone, all’art. 21, comma 1, che tutte le pubbliche amministrazioni debbano rendere note, attraverso i propri siti internet, alcune informazioni relative ai dirigenti (curriculum vitae, retribuzione, recapiti istituzionali) e i tassi di assenza e di presenza del personale, aggregati per ciascun ufficio dirigenziale.
Se si cerca il robot.txt del sito di Repubblica e del Corriere si ottiene una lista BELLISSIMA di articoli, verosimilmente quelli su cui ci sono beghe legali e che l'editore, o il capo-redattore, o chi per loro, ha deciso di non far apparire sui motori di ricerca.
Divertitevi con:
http://www.repubblica.it/robots.txt
http://www.corriere.it/robots.txt
Non sorprendentemente, la maggior parte degli articoli parlano di arresti e corruzione con protagonisti politici o dottori, dei quali compare il nome.
Capita anche con i titolari di grosse aziende.
Ma ancora più bello:
http://www.governo.it/robots.txt
Le pagine censurate sono quelle relative a questa legge:
La legge n. 69 del 18 giugno 2009 (“Disposizioni per lo sviluppo economico, la semplificazione, la competitività nonché in materia di processo civile”) impone, all’art. 21, comma 1, che tutte le pubbliche amministrazioni debbano rendere note, attraverso i propri siti internet, alcune informazioni relative ai dirigenti (curriculum vitae, retribuzione, recapiti istituzionali) e i tassi di assenza e di presenza del personale, aggregati per ciascun ufficio dirigenziale.
Jump to: