Gestion de données

[vc_row][vc_column][vc_custom_heading text= »L’infrastructure informatique est l’un des défis majeurs de l’Observatoire Rubin puisque 20 Téraoctets de données devront être traitées et stockées chaque nuit, ce qui au terme des dix ans du projet en fera le plus grand catalogue de données non propriétaires du monde. » font_container= »tag:h1|text_align:left » use_theme_fonts= »yes »][/vc_column][/vc_row][vc_row][vc_column width= »1/2″][vc_column_text]La vitesse à laquelle la caméra va cartographier le ciel austral et la profondeur de son champ d’observation vont produire un énorme volume de données. Toutes les 40 secondes, elle prendra une image du ciel d’un champ équivalent à 40 pleines lunes. Toutes les 3 nuits, il reviendra sur la même portion du ciel. Au terme du projet, la caméra de l’Observatoire Rubin aura produit un véritable film en 3 dimensions de l’Univers austral.[/vc_column_text][vc_custom_heading text= »Chaque image sera analysée informatiquement en moins d’une minute afin d’identifier tout déplacement ou toute modification de luminosité d’un astre.  » font_container= »tag:h1|text_align:left » use_theme_fonts= »yes »][vc_column_text]Elle sera ensuite référencée et cataloguée pour que les milliards de galaxies et d’étoiles observées puissent être exploitées par les chercheurs.[/vc_column_text][/vc_column][vc_column width= »1/2″][vc_single_image image= »3154″ img_size= »large »][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]En terme informatique, cela signifie que 20 Téraoctets de données seront analysées et stockées chaque nuit, soit l’équivalent de la capacité de stockage de 40 disques durs ou 4200 DVDs. Au total, ce sont 500 Pétaoctets de données qui seront produites durant les dix années et 30 Pétaoctets de données qui seront référencées, soit une gigantesque base de données répartie sur des milliers de serveurs en France et aux Etats-Unis.

Traiter un aussi grand volume de données, convertir les images brutes en une représentation fidèle de l’univers, implémenter une estimation de la qualité des données automatiques et une découverte automatique des objets célestes changeants et archiver les résultats  dans une forme utilisable par une large communauté d’utilisateurs est un défi majeur.[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column width= »1/2″][vc_single_image image= »3806″ img_size= »large » onclick= »img_link_large » img_link_target= »_blank »][/vc_column][vc_column width= »1/2″][vc_column_text]Le système de gestion de données est organisé en trois niveaux :

  • un niveau infrastructure composé du matériel de calcul, stockage et réseau et du logiciel système
  • un niveau logiciel, qui gère le traitement distribué, l’accès aux données l’interface utilisateur et les services d’opération du système
  • un niveau applications, qui inclue les pipelines et produits de données et les archives de données scientifiques. Le niveau applications est organisé autour des produits de données qui sont produits.

[/vc_column_text][/vc_column][/vc_row][vc_row][vc_column][vc_cta h2= »La contribution française » add_button= »bottom » btn_title= »En savoir plus » btn_color= »white » btn_add_icon= »true » btn_link= »url:%2Flsst-en-france%2Fdatacenter%2F|| »]Situé à Lyon, le CC-IN2P3 est en charge du traitement des données du relevé LSST, avec le SLAC National Laboratory (USA).[/vc_cta][/vc_column][/vc_row]