-- GuillaumeMahler - 04 Jul 2011

Comparatif de valeurs entres les dates des logs USNO et les dates du serveur images d'Aladin.

Le but est de convertir toutes les valeurs de dates d'observations des images des plaques photographiques décrites à la fois dans les logs USNO et dans le serveur Aladin pour détecter des incohérences et à terme renseigner les métadonnées des dates images avec des valeurs aussi correctes que possible.

L'étude se fait à chaque fois en plusieurs parties :

• conversion des différents formats de date/heure dans un format homogène : Jours Juliens
• comparaison des différences, détection d'anomalies et interprétation des résultats
• éventuellement diagnostic plus précis en utilisant les positions des astéroides via SkyBot pour lever des ambiguités

Photographic survey	Color	Coverage	Epoch	Scanning	#plates Aladin	USNO log	USNO selection
POSSI O	Blue 0.41um	+90..-24	1949..58	DSS2	912 (new) / 760 (old)	.xml	937 - Type=103aO, FIELD=so*
POSSI E	Red 0.645um	+90..-24,-36..-42	1949..58 + 63..65	DSS1	934 (new) / 644 (old)		1037 - Type=103aE, FIELD=se*
POSSII J	Blue 0.491um	+90..00	1985..2000	DSS2	897	.xml	897 - Type=IIIaJ, FIELD=sj*
POSSII F	Red 0.658um	+90..00	1986..1999	DSS2	897		897 - Type=IIIaF, FIELD=sf*
POSSII N	IR 0.84um	+90..00	1988..2000	DSS2	875 (new) / 861 (old)		873 - Type=IVN, FIELD=sn*
?	?	+90..00	1987..1999	?	?		897 - Type=IIIaJ, FIELD=uj*
SERC J	Blue 0.468um	-90..00	1974..1994	DSS1	800 (94 manquants)	.xml	894 SRCJ(fields 1-606),SERCEJ(fields 607-894) - Type=IIIaJ,sb*
?	?	-90..00	1978..1998	?	?		894 - ESOR(fields 1-606),SERCER(fields 607-894) sr*
SERC V	Visible 0.545um	South	1987	DSS1
ESO B	Blue	South	1976	MAMA
ESO R	Red 0.66um	South	1978	MAMA
AAO R	Rouge 0.64um	-90..-20	1985..1998	DSS2	608	.xml	606 - Type=IIIaF, ao*
SERC ER	Red	Equatorial		DSS2	288
SERC I	IR 0.807um	South	1979	DSS2	894	AAON	not avail.
SERC SR	Short Red 0.64um	South	1996	DSS2		AAO-SR	not avail.

POSSII F :

Nouvelle génération de header :

Relevés USNO disponible via l'url ici ou téléchargeable là (faire clic droit Enregistrer la cible du lien sous, ou aller voir le lien au format CSV dans la tableau en bas), la version telechargeable directement possède une colonne suplementaire contenant le jour Julian de la plaque et deux colonnes ou les coordonnées sont recalculer en HMS(heure minute seconde) pour l'ascension droite RA et en DMS(degré minute seconde) pour la declinaison (DEC).

On peut voir les fichiers originaux envoyé par François Bonnarel qui sont la parti extraite de la date des fichiers joint aux images disponible dans Aladin. On remarche que sur les fichiers reçu la dates est au format iso8601 mais que l'heure malgré le format doit etre decimal (certaines minutes dépassent les 60). J'ai recalculer la dates en la remettant au format iso8601 et en ajoutant une colonne suplemntaire avec la date écrite en jour Julian, le fichier retraité.

Les logs des plaques USNO concernent toutes les couleurs il a donc était fait un traitement pour pouvoir faire un cross match entre les données recu par François Bonnarel puis modifié et celles telechargées depuis le site de l'USNO.

Le crossmatch des données révèlent different point :

• 10 dates dans Aladin sont referencées 1952-08-22T05:31:48 et ne corespondent pas aux dates de l'USNO.
• certaines dates sont décalées d'un jour exactement (en effet on voit une dispersion des point seulment vers 10-⁷ au dela de la precision de la seconde.
• certaines dates sont juste (meme precision).
• Toutes les plaques de l'USNO et d'Aladin sont prisent en compte, il y a 897 plaques allant du numéro 2 à 898.
• On réalises un tableau de ces données, avec en abscisse le jour Julian de la plaques d'Aladin et en ordonnée le jour en unité. Zoom du tabeau sur la partie ou on voit la diference entre les jours decalés de 1.
• On remarque une corelation etre les jours decalés et l'année ou à était prise la plaque, on ne peut pas faire une corelation directe avec l'année bisextil car meme si le schema semble se repeter tout les 4 ans il est decalé d'une année par rapport aux année bisextil. l'histogramme suivant illustre cette corelation.

On a chercher à savoir qui avait raison sur les dates proposées (mis à part l'anomalie de 1952). A l'aide de l'outil SkyBot disponible via Aladin ont a pu reperer la position d'asteroide sur les plaques et donc au jour demandé. 8 relevées on montrer que les logs des plaques de l'USNO avait des dates corectes et donc que les données d'Aladin sont en partie eronnées, car les données qui ne données aucun jour de décalage ont etait verifiées aussi est sont donc corectes.

• les 8 relevés :

Numero de plaque	Date (année decimal)
684	1988.6311
615	1990.8569
635	1991.1828
710	1991.2676
559	1991.18
488	1992.0643
824	1987.64
753	1994.6078

Ici joint des fichiers Aladin (sauvegarde de la pile) illustrant les resultats données par SkyBot.1,2 et 3

Ancienne generation de header :

L'étude des anciens header des images du serveur Aladin montre quelques similutes avec les données des nouveaux header comme c'est 10 valeurs completement decalées qui dans les nouveaus header était en 1952 mais qui maintenant n'ont pas de point commun entre elles evident.

Les valeurs evoluent en "dent de scie" dans cette ancien header. Chaques pique vers le bas correspont a une année bisextil

En abscises le jour Julian dorrespondant a la date de la plqua selon Aladin, en ordonnée des jours julian qui sont la difference des jours Julian des plaques d'Aladin et celles de l'USNO.

POSSII J :

Nouvelle generation de header :

dans les fichiers de l'USNO j'ai fait le crossmatch avec les données sj#### .Les données uj#### ne données pas un cross match correct ( mettre image )

Cette fois-ci 6 valeurs qui different et le meme shema de soit 1 jour soit 0 jour de decalage. Dispertion des valeurs à partir de la septieme decimal d'un jour on atteint donc la precision à la seconde normalement. cross du nouveau header( format .xml votable disponible dans la table en bas).

Ancienne generation de header :

crossing des données:

9 valeurs bizarre qui ne colent à rien. les autres valeur de nouveau en dent de scie comme avant.

POSSII N :

Nouvelle generation de header :

meme schema bianire soit 1 soit 0. 3 valeurs qui ne sont pas correclées il manque 25 plaque entre à l'USNO entre les numero 2 et 897 et quatre de ces plaques sont dans le header Aladin les plaques 712 785 787 859

crossing des données contenant les 4 plaques suplementaires d'Aladin.

Ancienne generation de header :

Une plaque dite "normal" s'écrit comme ceci :

POSSII N 868 1997/06/26 ################## 1.9954251708980E+03 15 2 3.0521820000002E+01 - 0 9 4.6204520000000E+01

Pour faire le croisemment des données avec les anciens header j'ai du enlever 4 plaques de ceux que rend Aladin :

• 2 plaques les numero 337 et 338 car elle etait renseignées de façon très bizarre :

POSSII N 337 /GSSS: Region Name 1992-05-28T09:70:00 /Observation: Date/Time ################## 1.9964080810550E+03 19 /Astrometry: Plate Centre H 5 Astrometry: Plate Centre M 24.00 Astrometry: Plate Centre S + /Astrometry: Plate Centre +/- 40 Astrometry: Plate Centre D 3 Astrometry: Plate Centre M 55.0 Astrometry: Plate Centre S

POSSII N 338 /GSSS: Region Name 1993-06-11T09:35:00 /Observation: Date/Time ################## 1.9897619628910E+03 19 /Astrometry: Plate Centre H 31 Astrometry: Plate Centre M 29.00 Astrometry: Plate Centre S + /Astrometry: Plate Centre +/- 40 Astrometry: Plate Centre D 5 Astrometry: Plate Centre M 35.0 Astrometry: Plate Centre S

cependant les plaques de l'USNO qui referencent celle-ci possède la meme date d'observation 337 : 1992-05-28T09:70:00 ->(heure decimal corrigé)-> 1992-05-28T09:42:00 qui correspond au dates USNO, de meme pour 338

• Les deux autres plaques 896 et 897 car elles etaient renseigné comme ceci :

POSSII N 896 1999/02/21 6 28 3.4940605333337E+01 +87 30 2.0413639999984E+01

POSSII N 897 1998/01/23 12 1 4.2189482666668E+01 +87 15 2.7920289999980E+01

donc sans date

cross des données

les données semblent fortement correlés au numero de plaques :

on remarque que à partir d'une certaine plaque les différences sont grandes.La dernière plaque juste est la plaque numero 336

Dans la partie gauche(lineaire) les données evolue entre -0.25 jour et 0.5 jour on peut donc penser une corelation a l'année bisextil qui est verifié par le shema en dent de scie comme pour les autres relevées:

les plaques de numero inferieur à 337 sont en bleu et represente les seules valeurs nul:

SERC ER :

Nouvelle generation de header :

cross SERC ER nouveaux header:

Seulement 2 valeurs ne sont pas en accord sinon les autres sont environ les meme mais il y a une dispersion de presque 10 minute :

USNO-Aladin=f(Exp) On cherche la realité des donneés sur la date d'observation par rapport au temp d'exposition pour l'USNO et Aladin.

Aladin\USNO	start exposure	mid exposure
Star exposure	0	>0
mid exposure	<0	0

On corrige en realité les plaques d'une demi exposition et on ramene tout en seconde on bserve bien alors une dispersion allant de 15o seconde a -360 seconde environ, donc une dispersion de l'ordre de la dizaine de minute ( 8.5 minute exactement)

c'est peut-etre du aux seule 16 unique valeur que peut prendre le le champ "time" qui correspond aux heures d'observation des plaques :

Ancienne generation de header :

cross_SERC_ER old.csv:

les 2 meme valeurs exclues.

les valeurs corrigé de la demi exposition remis en seconde. On voit que cela va jusque 10⁴ seconde donc environ un jour on conclut la meme chose que pour les autres surveys : un decalage du au année bisextile.

les valeurs corrigé de la demi exposition en jour :

AAO R :

Nouvelle generation de header :

cross_AAO_R_new.csv:

20 points ailleurs et un point mal réferencé AAO R 345 1990-09-21T**:**:00 338.667380349 -39.7010175500 qui dans la vielle version fait parti des points corects Pour les points proche de zero il n'y a qu'un point qui est à -0.065 tous les autres sont compris -0.01 et -0.035.

Ancienne generation de header :

cross_AAO_R_old.csv:

seulement 20 points ailleurs et mais la dipsersion est plus grande et puis le shema en dent de scie et plus prononcé.

SERC J :

Nouvelle generation de header :

cross SERC J:

Les plaques sont numerotés de 1 à 894, mais il n'y a que 800 plaque. seulement 664 plaque proche de zero jour de difference donc 136 plaque ailleurs.

On retombe sur la meme situation en regardant de plus près les points au alentour de zero. On a une precision de l'ordre de l'heure. Le schema ressemble a celui qu'il faut corrigé de la demi exposition

Si l'on corrige lles points on obtient une precision de l'ordre de quelque minute ( exepté un point qui ne se demarqué pas des autres dans le schema ci-dessus).

Ancienne generation de header :

cross SERC J:

Les plaques sont numerotés de 1 à 894, mais il n'y a que 800 plaque. seulement 664 plaque proche de zero jour de difference donc 136 plaque ailleurs.

une ligen du ancien header s'ecrie comme ceci, on remarque la possible presence d'une date iso qui d'habitude ne renseigne pas les heures.

Surveys	numero	day/month/year	hour:min:sec	année julian
SERC J	001	11/10/77	13:04:00.00	1.9777768554688E+03	0 1 1.7865110000000E+01 -89 43 1.7622440000000E+01

il y a deux date qui vont servir pour le crossmatch celle issue de la date iso et celle comme d'habitude issue de l'année julian.

visualisation de tout les points, on ne remarque pas de différence.

: issue de l'année julian:

On remarque le meme schema habituelle en dent de scie avec une oscillations de 0.75 jour.

: issue de la date:

On remarque une dispertion vraiment fine, qui est donc en bien meilleur accord avec les dates de l'USNO

POSSI O :

Ce fichier contient les 937 plaques pour POSSI O (sous-echantillion du fichier de l'USNO)

Nouvelle generation de header :

cross_POSSI_O

Il n'y a que 912 plaques qui trouve une correspondance, l'USNO comptent 937 plaques tandis que Alaldin n'en possède que 912.

le cross donne ceci, ce qui n'est pas vraiment concluant.

Si on cross les données en décalant de 1 le numéro des plaques Aladin on obtient ceci (à gauche) et si on décale de deux on obtient (à droite) :

Ancienne generation de header :

cross_POSSI_O_old.csv:

On trouve 760 correspondances qui est le nombre de plaque renseigné par l'ancien header

on obtient à peu près la meme chose que pour la nouvelle generation

POSSI E :

le fichier de l'USNO pour POSSI O et E il faut regarder la collone col17 pour pouvoir distinguer les differences entre POSSI O et POSSI E. POSSI E s'écrie se#####. On remarque qu'il y 1974 plaques dont 1037 pour POSSI E.Ce fichier contient les 999 première plaques pour POSSI E (sous-echantillion du fichier de l'USNO)

Nouvelle generation de header :

l'heure était decimal mais au format iso je l'ai donc remis correctement au format iso8601.

cross POSSI E: Quand on match il n'y a que 932 lignes ce qui correspont au nombre de ligne dans le fichiers envoyé par M. François BONNAREL. Cependant j'ai relevé trois chose dans le fichier:

• Il y avait ces deux lignes dans le fichier:
  • POSSI E 001A 1952-08-22T05:53:00 183.479356655 89.7286597740
  • POSSI E 001B 1952-08-21T08:53:00 181.673241425 89.7371349499

J'ai chois de ne conserver que la ligen A car après un rapide calcul il semble qu'elle était plus proche de la date donnée par celle de l'USNO.

• J'ai du rajouté à la plaque numero 389 :00 car la date iso donné n'était pas complète

• J'ai tout simplement suprimer la plaque 618 et bien qu'elle semblat contenir une date au format iso elle ne semble pas correspondre a la date USNO de la plaque 618, voici les lignes suprimer
  • POSSI E 618
  • 1952-01-29 12:
  • 205.859086005
  • -0.732096553379
  • On semble pouvoir deviné la date iso 1952-01-29 T 12: 00:00

Le graphique de ces valaurs donne ceci :

Si on décale de 1 le numéro des plaques Aladin on obtient ceci :

Ancienne generation de header :

• cross POSSI E:

Dans le fichier original il y a une plaque numeroté 1001 alors que dans le fichier d'origine Aladin il n'y a que 644 plaques, le match ne fait de croisement que pour 643 plaques, il ne prend pas en compte cette plaque voivi la position de la plaque 1001 :

• POSSI E 099 15/06/53 06:04:00.00 1.9534527587891E+03 15 27 6.0869200000000E+00 +59 29 4.6422390000000E+01
• POSSI E 1001 22/08/52 08:32:00.00 1.9526402587891E+03 12 16 4.1228970000000E+01 +89 45 5.3100430000000E+01
• POSSI E 100 29/06/54 04:40:00.00 1.9544909667969E+03 16 10 3.0737160000000E+01 +59 37 2.9721720000000E+01

On remarque que dans ce fichier comme pour SERC J il y a deux date exploitable

Surveys	numero	day/month/year	hour:min:sec	année julian
POSSI E	100	29/06/54	04:40:00.00	1.9544909667969E+03	16 10 3.0737160000000E+01 +59 37 2.9721720000000E+01

Si on plot avec la date de type calendrier on obtient ceci :

Sinon on obtient cela --- et si on ôte les six valeurs aberantes :