ARIA

Association Francophone de Recherche d’Information (RI) et Applications

Actes de CORIA 2017
PDF

Auteurs

Xinyu Wang, Julien Ah-Pine, Jérôme Darmont

Résumé

L’hypothèse de cluster est l’hypothèse fondamentale de l’utilisation du clustering dans la recherche d’information. Elle indique que les documents semblables ont tendance à être pertinents pour la même requête. Des travaux passés testent intensivement cette hypothèse avec les méthodes de la classification ascendante hiérarchique (CAH). Mais leurs conclusions ne sont pas cohérentes en termes d’efficacité de la recherche. La limite principale dans ces travaux est le problème de passage à l’échelle lié a là CAH. Dans cet article, nous étendons nos travail précédent à un nouveau test de l’hypothèse de cluster en appliquant un système extensible de CAH basé sur la similarité. Principalement, la matrice de similarité cosinus est sparsifiée par des seuils pour réduire l’occupation mémoire et le temps de calcul. Nos résultats montrent que même quand la matrice est largement sparsifiée, l’efficacité de la recherche est maintenue pour toutes les méthodes, dont le complete et l’average ne dominent pas toujours les autres.

Abstract

The Cluster Hypothesis is the fundamental assumption of using clustering in In- formation Retrieval. It states that similar documents tend to be relevant to the same query. Past research works extensively test this hypothesis using agglomerative hierarchical clustering (AHC) methods. However, their conclusions are not consistent concerning retrieval effective- ness for a given clustering method. The main limit of these works is the scalability issue of AHC. In this paper, we extend our previous work to a new test of the cluster hypothesis by applying a scalable similarity-based AHC framework. Principally, the input pairwise cosine similarity matrix is sparsified by given threshold values to reduce memory usage and running time. Our experiments show that even when the similarity matrix is largely sparsified, retrieval effective- ness is retained for all tested methods. Moreover, for two clustering methods, complete link and average link, they do not always dominate the other methods as reported in past works.

Posts Récents

Catégories

A Propos

ARIA (Association Francophone de Recherche d’Information (RI) et Applications) est une société savante, association loi 1901, ayant pour but de promouvoir le savoir et les connaissances du domaine de la Recherche d’Information (RI) et des divers domaines scientifiques en jeu dans la conception, la réalisation et l’évaluation des systèmes de Recherche d’Information.