TODO-liste pour le service de cross-match

Les tâches libellés T01 à T99 sont les tâches prioritaires, dont l'achèvement est critique avant la release officiel du service.

	Tâche	Description	Priorité	Qui ?	Statut	Date création tâche
T01	Système de gestion de file d'attentes	Afin de ne pas écrouler le système par de trop nombreux jobs lancés simultanément, il faut gérer une (ou plusieurs) file(s) d'attente. On peut s'inspirer de ce que fait le SDSS avec CASJobs : 2 queues (Long et Short) dédiés resp. aux jobs longs et courts, et s'exécutant sur 2 machines différentes. Si un job court met trop de temps à s'exécuter, on l'interrompt et on le migre sur la queue Long. On peut envisager d'utiliser la machine de la queue Long pour des jobs courts, si il n'y a pas de jobs longs en attente. Il faudra aussi tester le nombre de jobs courts que l'on exécute simultanément.	++++	FX+Thomas	Fait	10/12/2010
T02	Pouvoir limiter le cross-match à une zone du ciel	Option disponible dans tous les cas Restriction par cone search (RA,DEC + rayon ou nom objet + rayon)	+++	FX (backend) + Brice	Fait	10/12/2010
T03	Définir et implémenter le système d'ingestion et de mise à jour des tables VizieR	A-t-on besoin de transformer toutes nos tables dans notre format binaire? Peut-on se limiter aux gros catalogues, et faire les petits (<1M rows) en streamant à la demande les données vizier ? Comment trouver les erreurs associées, modif du système de coordonnées ? On ne transformera que les très grosses tables (>10M tuples, une trentaine) dans le format binaire. Pour les tables intermédiaires ( 100k < nb tuples < 10M ), on les transformera en table FITS binaire. Pour les autres tables (<100k tuples), on interrogera VizieR directement	++++	Thomas, FX, Seb	Fait	10/12/2010
T04	Service de suggestion pour les tables VizieR cross-matchables	A partir d'une chaine de caractères, le service renverra une liste de cats (et métadonnées associées : description, nb rows) correspondant à la recherche. La rapidité de ce service est primordiale	+++	Thomas (backend) - Brice (interface Web)	A faire	10/12/2010
T05	Pouvoir cross-matcher des tables du user store		++++	FX + Brice	Fait	10/12/2010
T06	Documentation du service	Sous la forme d'une page Web (comme pour les annotations ou le portail). Une vidéo Flash d'exemple serait bien	+++	Thomas+FX+Seb+Brice	Fait. Manque la vidéo Flash	10/12/2010
T07	Loguer accès	Il faut loguer chaque soumission de jobs, avec le nom de l'utilisateur et l'ensemble des params associés au xmatch. Loguer également le changement d'état (succès et heure de fin, ou erreur)	+++		Fait	10/12/2010
T08	Monitoring	Monitorer le service pour détecter les pannes éventuelles	+++		A faire	10/12/2010
T09	Proposer des catalogues pré-calculés pour les xmatch populaires (eg SDSS x 2MASS)	Pour définir les xmatch en question et les paramètres associés --> réunion à organiser avec astronomes de l'obs (Mark, Laurent, Bernd, Arnaud)	+++		FaitLa réunion en revanche a été quelque peu infructueuse	10/12/2010
T10	Beta test à l'intérieur de l'Observatoire		++		Message envoyé à astro-tous	10/12/2010
T11	Limiter les xmatch aux utilisateurs inscrits	TB, 25/01 : Est-ce vraiment une bonne idée de se priver d'utilisateurs potentiels ? Mon coeur balance	++		Volontairement pas fait	15/12/2010
T12	Fonction de calcul de coût d'une tâche xmatch	Fonction de la taille du cat, de la densité du cat, du rayon de recherche et de la zone du ciel	++		Fait	15/12/2010
T13	Meilleure gestion de l'abort et de la suppression d'un job		++++	Thomas	Fait	11/05/2011
T14	Donner l'info allsky/cone search/healpix cell dans le détail d'n job		++	Thomas	Fait	11/05/2011
T101	Avoir un service UWS entièrement indépendant de CDSLogin	Use case : je veux soumettre mon job et retrouver le résultat depuis wget			A faire	10/12/2010
T102	Client en ligne de commande dédié à la soumission de jobs de cross-match (cdsxmatchclient)	Le client cacherait tout le mécanisme UWS sous-jacent et permettrait le xmatch de tables locales ou distantes			A faire	10/12/2010
T103	Lien/intégration avec Aladin				A faire	10/12/2010
T104	Lien depuis portail CDS	Soumission de jobs depuis MyData. Copie d'un résultat de xmatch dans MyData			A faire	10/12/2010
T105	Liens depuis pages VizieR, Simbad	Cross-match against this catalogue, cross-match against this list of objects			A faire	10/12/2010
T106	Barre de progression, information sur le numéro d'ordre dans la file d'attente				Fait	10/12/2010
T107	Pré-filtrage des catalogues, post-filtrage du résultat, sélection des colonnes en sortie --> lien avec service TAP	Exemple pré-filtrage : sources 2 MASS avec magJ<12. Exemple de post-filtrage : magJ_2MASS-magB_Tycho>2			A faire	10/12/2010
T108	Lien avec VOSpace	Permettre de copier un résultat sur un VOSpace			A faire	10/12/2010
T1001	Etude sur la possibilité d'effectuer le cross-match sur GPU	Avantage : speed-up potentiel énorme. Inconvénient : nécessiterait de réécrire de larges parties du code (en C certainement)			A faire	10/12/2010
T1002	Prise en compte de 2 cats avec epoques variables et proper motions				A faire	15/12/2010

-- ThomasBoch - 10 Dec 2010