Résumé

La transparence des algorithmes est un sujet de préoccupation pour les utilisateurs et les autorités. Parmi les différents aspects de cette notion de transparence, est-il possible d’étu- dier dans quelle mesure les moteurs de recherche sur le web sont honnêtes par rapport à leur politique de personnalisation déclarée, et dans quelle mesure est-il possible d’expliquer leur comportement, ne serait-ce que succinctement ? Cet article décrit un cadre expérimental pour étudier ces aspects, et des résultats obtenus sur l’étude du principal moteur de recherche sur le Web. L’idée suivie est d’étudier les différences dans les résultats du moteur, afin de mesu- rer leur honnêteté et leur explicabilité. Nous avons formalisé le protocole expérimental et les mesures d’évaluations. Nous trouvons, pour plusieurs utilisateurs et plusieurs requêtes choisies avec soin, qu’il y a de larges variations dans les résultats. Nous les quantifions et nous les ordonnons l’importance relative des paramètres étudiés. Nous montrons que ces informations seraient utiles pour améliorer la transparence des moteurs de recherche sur le Web.

Abstract

The transparency of algorithms is a concern for users and authorities. Among the various aspects of this notion of transparency, is it possible to study the extent to which search engines on the web are honest with respect to their declared personalization policy, and to what extent is it possible to explain their behavior, if only succinctly? We describe here an experi- mental framework and the results obtained on the study of the transparency of the leading web search engine. The idea is to track the changes of results, in a way to evaluate their honesty and explicability. We formalize the protocol and the measures used. We find that, for several users and carefully choosen queries, they are large variations in the results. We quantify them and rank the importance of the parameters studied. We show that this information may be used to enhance the transparency of search engines.