Recherche d’information dans de grandes masses de données astronomiques

Nous sommes et surtout nous serons confrontés dans un avenir proche à de nombreux problèmes liés aux grandes masses de données. En anglais on appelle cela souvent « Big Data » bien que cela ait une connotation souvent de temps réel alors que dans le cadre du stage il y a aura des accès à des données déjà stockées.

C'est particulièrement vrai en astronomie, nous commençons à parler "d'avalanche de données" étant donné que les différentes missions (spatiales ou au sol) produisent des quantités énormes de données (images, spectres, etc.) et que la tendance est à la mise à disposition (des professionnels, des amateurs mais également du grand public) de ces données (ce qui n'était pas toujours le cas jusqu'à présent). Il y aura donc des problèmes d'indexation et de recherche / fouille dans des grandes quantités de données (catalogues, images, spectres, pdf, etc.) à résoudre. On pourra débuter par le prototypage d'un outil de recherche d'information sur les données locales du CDS puis ouvrir cela vers d'autres centres de données et notamment vers ceux qui proposent des accès via les standards de l'Observatoire Virtuel. Ce travail n'est pas seulement exploratoire mais a une visée opérationnelle à brève échéance.

Il y aura du développement Java avec l'utilisation de Solr (http://lucene.apache.org/solr/) pour la partie « moteur de recherche ». Pour la partie interface de requête on pourra par exemple le développer avec les technologies habituelles du Web ou sous forme de widget intégrable dans d’autres pages Web. Etant donné l'intérêt suscité par ce genre de travail il sera présenté lors de conférences et workshops auxquels nous participons régulièrment et aboutira à court terme à une utilisation dans nos services et donc à une visibilité du travail au niveau du Web. Cette problématique est actuellement une préoccupation majeure dans le monde entier (nombreux projets financés par la communauté européenne par exemple) et cela intéresse également les industriels.

Mots clés : « Masses » de données astronomiques (images, catalogues, etc.), recherche d’information, Java, Apache Solr, technologies Web