Outil de statistiques sur la sortie de Raccord

• Comme aide à l'analyse d'une sortie de Raccord, on peut utiliser le programme shell statrac .
  
  statrac parfile_maj0

parfile_maj0        ***************
***********************************
-a- cree en NAME                  .
-b- not correctly written         .
-c- unknown                       .
--- too short                     .
--- Simbad error                  .
--- Invalid                       .
-d- Bad Identifier                .
--- may come from several         .
--- POSITION IGNORED              .
--- Missing sign                  .
***********************************
--- No valid identifier           .
--- Conflicting                   .
--- already connected             .
***********************************
-f- not present                 144
***********************************
-g- UPDATE from_Name              6
-h- UPDATE from_Pos              24
-i- NEW object                   62
--- %I.0                         58
***********************************
--- TOTAL                       150
***********************************
taper (a,b,c,d...) pour lister le contenu d'une categorie, (r) pour rafraichir, (q) pour sortir
  

• Le premier bloc sert à vérifier que tout est bien écrit pour SIMBAD.
  Si un identificateur est mal écrit, on aura un ou plusieurs des messages d'erreur suivants :
  not correctly written, unknown, too short, Simbad error, Invalid, Bad Identifier, may come from several.
  Si les coordonnées ne sont pas comprises, on aura un des messages suivants :
  POSITION IGNORED, Missing sign
  Un identificateur peut avoir été mal écrit et être créé en NAME par le programme, sans message d'erreur. Il apparaît alors sur la ligne :
  cree en NAME
  Il est préférable de vérifier que ce bloc soit vide avant d'affiner les recherches avec Raccord. Notamment il faut veiller absolument à ce que la ligne "cree en NAME" soit vide, pour ne pas créer de nouveaux NAME à son insu. (Pour les trouver dans le parfile_maj0 : chercher la chaîne de caractères not present in the database: NAME )

• Le deuxième bloc relate des messages spécifiques à Raccord.
  Si un identificateur principal en entrée (celui derrière %I.0) n'est pas valide, on aura le message No valid Identifier.
  Si le résultat d'une recherche par identificateur aboutit à plusieurs objets SIMBAD et non un seul, Raccord est 'coincé' entre plusieurs possibilités (parce qu'il a été programmé pour ne mettre à jour qu'un seul objet par objet en entrée), on aura le message Conflicting.
  Si Raccord attribue un bon score à un objet qui a déjà été mis à jour dans le même fichier, on aura le message already connected.
  Tous ces messages indiquent des problèmes importants qui empêchent Raccord d'éditer des commandes de mise à jour. La plupart du temps ce sont des problèmes qu'il faudra régler un à un avant d'aller plus loin.

• Le bloc not present compte le nombre de messages This identifier is not present in the database: ....
  En tapant la lettre correspondante, on liste par ordre alphabétique tous les identificateurs qui seront ajoutés dans la base. Cela peut être utile pour vérifier qu'on ne rentre aucun nouvel identificateur soit d'un catalogue déjà complet dans SIMBAD (par exemple IRAS), soit avec un format qu'on ne veut pas, même si il "passe" sans message d'erreur.

• Le dernier bloc renseigne sur la répartition parmi les 4 grandes décisions prises par Raccord.
  En listant les UPDATE from_Name ou les UPDATE from_Pos, on a:
  - la liste de tous les types d'objets des objets SIMBAD qui seront mis à jour, avec leurs occurences.
  Peut être utile pour vérifier qu'il n'y a aucun amas lorsqu'on traite une liste d'étoiles par exemple.
  - les 10 plus grandes distances.
  A vérifier systématiquement, surtout pour les from_Pos. On fait l'hypothèse que si les distances les plus grandes sont acceptables, toutes les autres sont acceptables aussi.
  En listant les NEW, on obtient les 10 plus petites distances avec les objets candidats qui ont été refoulés. Cela peut permettre de mettre le doigt sur des objets qui ont été trop vite écartés (cross-id manquées).
  Par le jeu des scores (cf. paragraphe suivant), le but est de réduire le nombre de %I.0 à zéro.

Options de Raccord pour jouer sur les scores

• score{+/-}I :
  Pour augmenter le score sur un identificateur identique en entrée de Raccord et dans Simbad, on écrit :
  "%score+I(2)===OGLE,Z" en BEGIN de script
  Ici, un identificateur OGLE ou Z verra son score augmenter de 2 dans Raccord s'il est écrit de la même manière dans Simbad. Attention, s'il y a plusieurs identificateurs OGLE, Raccord ne considère que le premier et n'augmentera pas le score sur le 2è identificateur même si c'est celui-ci qui était identique à l'entrée de Raccord.
  Si l'on ne met pas le "(2)", le score est, par défaut, augmenté de 1.
  On ne peut pas augmenter le score de manière différente sur différents identificateurs. Par exemple, score+I(14)===Z et score+I(2)===[HVG99B] ne donne pas d'augmentation du score dans Raccord.
  Avec "%score-I=2MASX", on peut baisser le score de tous les objets proposés par Raccord en x-id et qui ont un identificateur commençant par 2MASX.
  Il est également possible d'utiliser directement cette option en ligne de commande : raccord -g0C score-I=2MASX parfile, par exemple.

• score{+/-}C :
  Permet d'augmenter ou diminuer le score sur des types d'objets. Il s'utilise de la même façon que le score+I vu ci-dessus.
  Par exemple : "%score-C(2)=Rad,GrG" en BEGIN de script, fait diminuer le score de 2 aux objets proposés par Raccord en x-id et qui ont Rad ou GrG en type d'objet principal.
  L'option "%otypes=IR,Y*O" fonctionne un peu de la même manière en augmentant le score de 0.8 pour ces types d'objets. Il vaut mieux préférer %otypes si on ne précise pas de %C ou .C pour la nature des objets de la table.
  

• Forcer le remplacement d'une valeur à qualité égale :
  Pour remplacer systématiquement la valeur de Simbad par la valeur entrée dans Raccord, si elles sont de qualité égale, on utilise l'option -u
  Par exemple raccord -g0C -u J parfile forcera le remplacement des coordonnées.
  L'option s'utilise avec tous les astrotypes de Raccord. Cf. Tableau du Manuel de Raccord
  

• Pour ignorer des "already connected" :
  Si l'on est sûr que les objets "already connected" doivent bien être fusionnés dans Simbad, on peut les ignorer dans Raccord avec l'option : -x - Par exemple, en ligne de commande : raccord -g0C -x - parfile

• Pour diminuer ou augmenter la tolérance sur l'écart de position :
  Par défaut, Raccord définit la distance maximale acceptable entre 2 positions, c'est la tolérance sur l'écart de position.
  Cette tolérance est calculée pour chaque couple d'objets comparés (objet en entrée/objet SIMBAD). C'est celui qui a la position la moins précise qui détermine la tolérance, selon le tableau suivant:
  précision des coordonnées les moins précises :   1°     1/10°     1'     1/10'     1"     1/10"     1/100"    1mas
tol-pos                                      :  3600"    720"    150"     18"      3"       1"       0.6"     0.3"
  Par exemple pour un objet en entrée avec une position au dixième d'arcseconde et un objet SIMBAD trouvé avec une position à l'arcseconde, la tolérance sera de 3 arcsecondes. Cela veut dire que si les 2 objets sont écartés de plus de 3 arcsecondes, Raccord considérera cette distance significative et baissera le score.
  Pour diminuer ou augmenter la tolérance sur l'écart de position, on utilise l'option tol-pos.
  Avec notre exemple précédent, si il était écrit tol-pos=/2 dans la ligne de commande, la tolérance serait seulement de 1.5 arcsec.
  Pour augmenter la tolérance, utiliser le signe *.
  

• Pour limiter ou augmenter le rayon de recherche dans Raccord :
  D'après la précision des coordonnées de l'objet en entrée, Raccord calcule un certain rayon de recherche, qui est égal à la tolérance sur l'écart de position multipliée par 2. Mais par défaut le rayon de recherche ne peut pas être plus petit que 30 arcsec ni plus grand que 3600 arcsec.
  Par exemple si j'ai un objet en entrée avec une position donnée à la seconde d'arc, la tolérance sur l'écart de position sera de 3 arcsec. Le rayon de recherche a priori serait de 3x2=6 arcsec, mais comme il ne peut pas être plus petit que 30 arcsec, il est ramené à 30 arcsec.
  L'option tol-search permet d'augmenter ou diminuer le rayon de recherche, par l'intermédiaire des valeurs limites.
  Par exemple si on écrit en ligne de commande:
  raccord -g0C tol-search=/2
  le rayon de recherche ne pourra pas être plus petit que 30/2=15 arcsec ni plus grand que 3600/2=1800 arcsec. Mais cela ne change pas le calcul du rayon de recherche a priori, qui sera toujours égal à la tolérance multipliée par 2.
  Dans notre exemple précédent, avec un objet en entrée qui a une position à la seconde d'arc, la tolérance sera toujours de 3 arcsec et le rayon de recherche a priori de 6 arcsec. Mais cette fois le rayon de recherche final sera de 15 arcsec au lieu de 30.
  Pour augmenter le rayon de recherche, utiliser le signe *.
  Pour aller plus vite, on peut directement spécifier un rayon de recherche en valeur. Par exemple:
  raccord -g0C tol-search="0.3,0.3"
  Dans ce cas le rayon de recherche n'est plus lié à la précision des coordonnées en entrée.
  Mais attention de garder quand même un rayon significativement plus grand que le rayon qu'on acceptera entre deux cross-id, pour ne pas passer à côté des cas plus complexes qui nécessitent une intervention manuelle.
  
  Tableau récapitulatif des correspondances :
  précision en entrée      :   1°     1/10°     1'     1/10'     1"     1/10"     1/100"    1mas
(tol-pos)                :  3600"    720"    150"     18"      3"       1"       0.6"     0.3"
tol-search avant limites :  7200"   1440"    300"     36"      6"       2"       1.2"     0.6"
  

• Pour limiter ou augmenter la tolérance sur les différences de magnitudes :
  L'option tol-mag permet d'augmenter ou diminuer les limites de tolérances sur les différences de magnitude entre l'objet Simbad proposé par Raccord et celui fourni en entrée.
  Par exemple, par défaut pour une précision de 0.01 magnitude, la valeur de tolérance est 0.03. Cf. Manuel de raccord ou récapitulatif des options en début de parfile_maj.
  On peut écrire en ligne de commande : raccord -g0C tol-mag=*2 pour doubler cette limite de tolérance, par exemple.

• Forcer la recherche par coordonnées :
  Lorsque Raccord retrouve un objet par son identificateur, il se contente de ce résultat et ne lance pas de recherche par coordonnées.
  On peut lui préciser de rechercher également les autres objets autour de la position donnée avec l'option -coo
  Par exemple : raccord -g0C -coo parfile
  A contrario, l'option -nocoo permet de ne pas rechercher les objets par position.

Quand Raccord ne suffit plus, comment lui mâcher le travail

Il arrive qu'on atteigne les limites de Raccord, dans les cas suivants:
- quand il y a trop d'objets de sources hétérogènes en réponse (cas généralement des champs profonds)
- quand il faut distinguer des distances au dixième d'arcseconde près
- quand il y a un décalage systématique des objets dans SIMBAD
- quand le champ est tellement chargé que Raccord met des heures à tourner (cas du champ COSMOS)

Au lieu de faire chercher par Raccord en masse dans SIMBAD, avec les mêmes paramètres de comparaison quel que soit l'objet trouvé, on va d'abord rechercher les bonnes cross-id dans les catalogues Vizier appropriés, puis faire tourner Raccord avec ces cross-id en entrée, comme si elles venaient de la table.

• étape 1: choisir le ou les catalogues qui contiennent des cross-id sûres et définir la distance acceptable
  Il faut choisir un catalogue entièrement intégré dans SIMBAD.
  Il faut qu'il existe une bonne correspondance entre les deux catalogues:
  - mêmes types d'objets, même domaine de longueur d'onde voire même instrument (surtout pour les champs profonds)
  - bonne correspondance visuelle dans Aladin
  - avec l'outil de cross-match dans Aladin, demander tous les matches dans un rayon exagérément grand: observer l'histogramme des distances. Il doit y avoir un premier pic avant une longue pente régulière. C'est dans ce premier pic que sont les bonnes cross-id. Nous avons alors la distance acceptable, r1

• étape 2: effectuer la recherche dans Vizier, par "List of targets"
  Choisir un rayon de recherche r2 plus grand que r1 (r2=r1x2).
  Demander l'affichage de l'Input en première colonne et de la distance. Enregistrer le résultat dans un fichier ascii
  

• étape 3: éliminer les couples autres que relations 1-1
  Dans le fichier de sortie, neutraliser les objets si:
  - deux objets ou plus ont été trouvés en réponse pour une entrée
  - le même objet est sorti plusieurs fois pour des entrées différentes
  

• étape 4: sélectionner les bonnes cross-id (distance inférieure ou égale à r1) pour les intégrer au parfile
  Il suffit de rajouter un paragraphe dans le bloc BEGIN du script pour extraire les cross-id contenues dans le ficher ascii.
  

-- EmmanuellePerret - 16 Oct 2009