Bloc
Déconvolution
- Ce qu’il fait
- Il rend l’empilement plus net, avec la forme des étoiles mesurée sur l’empilement lui-même.
- Ce qu’on voit
- Des étoiles plus fines et des détails plus fins ; Inspecter montre l’image avant et après, avec la largeur médiane des étoiles avant et après.
- Ce qui se règle
- Itérations règle la force de l’accentuation et Régularisation retient le bruit et les anneaux ; les valeurs par défaut conviennent à la plupart des images.
Le bloc Déconvolution accentue l’empilement et ses deux demi-empilements avec la forme des étoiles mesurée sur l’empilement lui-même, zone par zone et couleur par couleur. La méthode classique est une itération de Richardson-Lucy qui empêche les cœurs écrêtés des étoiles saturées de produire des anneaux dans l’image. Une seconde méthode, un réseau de neurones, est en bêta. Le bloc est facultatif, travaille sur des données linéaires et se place avant Débruitage.
- Empilement
- Astrométrie
- Gradient
- Déconvolution
- Débruitage
- Couleur
1Avant et après sur une image réelle
La comparaison ci-dessous utilise un projet de la nébuleuse de la Rosette : 436 poses de 15 s avec un Sony A7S à 4000 ISO, sur un Newton 130/900. Les deux images viennent du même projet, sans le bloc Déconvolution et avec lui dans sa méthode Réseau de neurones, en bêta. Le bloc se place après Gradient et avant Débruitage. Tout le reste est identique, et les deux sont montrées avec le même étirement ; le niveau du ciel est inchangé. Les détails sont à 100 % : un pixel de l’image est un pixel de l’écran. La déconvolution a pris 2,9 min sur une carte graphique RTX 4060 Ti. Faites glisser le séparateur, ou donnez-lui le focus et utilisez les flèches.
| Zone | Cadre dans l’empilement (x, y) | Largeur des étoiles (médiane, px) | Étoiles détectées |
|---|---|---|---|
| 1 Amas sur la nébuleuse | 1540–2240, 1120–1820 | – | 729 → 1056 |
| 2 Nébuleuse brillante, globules sombres | 1550–2250, 520–1220 | – | 555 → 772 |
| 3 Arc faible | 1936–2636, 241–941 | 4,95 → 4,53 (−8 %) | 395 → 530 |
| 4 Champ d’étoiles | 2750–3450, 1070–1770 | 4,84 → 4,19 (−13 %) | 279 → 382 (+37 %) |
Après
Avant
Après
Avant
Après
Avant
Après
Avant 2Ce qui entre, ce qui sort
Le bloc reçoit l’empilement, ses deux demi-empilements, la carte de couverture de l’empilement et la carte de ses pixels saturés. Il écrit les trois images accentuées, un aperçu avant et après, et deux mesures : la largeur médiane des étoiles avant et après, et le nombre de zones.
La même opération s’applique à l’empilement et à chaque demi-empilement, avec les mêmes formes d’étoiles, si bien qu’un Débruitage placé après lui lit toujours deux images traitées de la même façon, dont la différence mesure le bruit. Les pixels sans données restent tels quels.
3La forme des étoiles
Le champ est découpé en zones : le nombre est fixé le long du grand côté (6 par défaut), et le petit côté en reçoit autant qu’il en faut pour les garder à peu près carrées. Dans chaque zone et chaque couleur, FLOAT mesure la forme sur des étoiles qui sont :
- non saturées, et loin de tout pixel saturé ou sans données ;
- brillantes : un pic d’au moins 30 fois le bruit ;
- isolées : aucune voisine plus brillante que 3 % de l’étoile à moins de 1,5 fois le rayon de la vignette (des vignettes de 25 × 25 pixels).
Chaque étoile est centrée à une fraction de pixel près dans sa propre couleur, si bien que les petits décalages entre les couleurs ne sont pas fondus dans la forme. La forme d’une zone est la médiane de ses étoiles, normalisée à leur flux. Les ailes faibles, au-delà de quelques pixels du centre, sont remplacées par la médiane de la forme autour du centre de l’étoile, prise anneau par anneau, car elles sont mesurées avec peu de signal et leur bruit pèserait comme un vrai halo.
Une zone qui compte peu d’étoiles s’appuie sur un modèle lisse du champ, une surface quadratique ajustée sur toutes les zones : la forme d’une zone est pondérée par son nombre d’étoiles contre 20 étoiles pour le modèle, et une zone sans étoiles prend le modèle. Les largeurs mesurées, par couleur, sont écrites dans le journal avec leur étendue sur les zones. Leur médiane, avant et après, est la mesure de largeur d’étoile du bloc ; c’est la largeur à mi-hauteur de la forme rééchantillonnée huit fois plus finement.
Si moins de 10 étoiles isolées sont trouvées, la forme ne peut pas être mesurée : l’image est laissée telle quelle et le bloc le dit.
4Richardson-Lucy et étoiles saturées
La méthode est Richardson-Lucy,[1][2] une itération qui multiplie l’estimation par la correction qu’implique la forme des étoiles, jusqu’à ce que l’estimation, floutée par cette forme, rejoigne l’image mesurée. Chaque zone est restaurée avec sa propre forme, et les zones sont fondues entre leurs centres.[3] Le ciel est relevé d’au moins 8 unités de bruit au-dessus de zéro pendant les itérations, car la méthode demande des valeurs positives, puis rabaissé ensuite.
Une étoile écrêtée fausserait un Richardson-Lucy simple. FLOAT suit Whyte, Sivic et Zisserman.[4] À chaque itération, l’estimation est séparée en ses pixels brillants et le reste. Les pixels mesurés que les brillants atteignent sont écartés de la mise à jour du reste, ce qui empêche leurs erreurs de produire des anneaux dans l’image, et la partie brillante est mise à jour avec une saturation douce dans le modèle direct. Le niveau d’écrêtage de chaque couleur est le haut des pixels marqués saturés dans cette couleur. Après la restauration, les cœurs saturés eux-mêmes sont remis tels qu’ils ont été photographiés.
5Retenir le bruit et les anneaux
Cinq mécanismes limitent le bruit et les anneaux que la déconvolution dessine autour des étoiles.
- Variation totale. Un terme de régularisation retient le bruit.[5] Sa force est le réglage Régularisation.
- Itération amortie. Un pixel déjà à moins de 3 unités de bruit des données n’est plus poussé (l’amortissement de White[6]).
- Arrêt. L’itération s’arrête plus tôt quand la variation relative moyenne de l’estimation tombe sous 0,3 %.
- Anneaux locaux. À chaque itération, autour des étoiles, 90 % d’un assombrissement est refusé.
- Protection. Le résultat compte en proportion du signal : pas du tout sous 3 unités de bruit au-dessus du ciel, en entier à partir de 15, si bien que le ciel entre les objets est laissé tranquille.
Le bruit est mesuré sur la différence des demi-empilements, sur un échantillon d’au plus 2 millions de pixels tirés avec une graine fixe : les mêmes pixels à chaque exécution, donc le même résultat à chaque exécution. Le traitement local des anneaux ne repose sur aucune équation publiée ; c’est une règle propre à FLOAT.
6La méthode neuronale (bêta)
La seconde méthode est un réseau NAFNet[7] entraîné contre des images du télescope spatial Euclid. Le réseau est livré avec le programme. Cette méthode est en bêta.
Elle travaille une couleur à la fois, sur l’empilement et sur chaque demi-empilement. Chaque plan est exprimé en unités de bruit, passé dans le réseau de Débruitage pré-entraîné, puis dans le réseau de déconvolution, par tuiles de 512 pixels avec une marge de 48 qui s’efface sur le recouvrement avec la tuile voisine, si bien que les bords ne laissent pas de raccord. Les cœurs saturés sont gardés, comme dans la méthode classique. Le réseau ne mesure aucune forme d’étoile : il ne lit pas les réglages Zones, Itérations ni Régularisation.
L’image passe d’abord par Débruitage, et la méthode retire aussi le bruit. Ses flux d’étoiles sont moins fiables que ceux de la méthode classique.
7Réglages
| Réglage | Valeur | Plage | Ce qu’il fait |
|---|---|---|---|
| Méthode | Richardson-Lucy | Richardson-Lucy, Réseau de neurones (bêta) | Richardson-Lucy itère avec la forme d’étoile mesurée dans le champ. Le réseau de neurones est en bêta et retire aussi le bruit. |
| Itérations | 30 | 1 – 100 | Plus d’itérations accentuent davantage, et font monter le bruit. Richardson-Lucy seulement. |
| Régularisation | 0,002 | 0 – 0,05 | Retient le bruit et les anneaux. Richardson-Lucy seulement. |
| Zones (avancé) | 6 | 1 – 16 | Zones le long du grand côté de l’image, chacune avec sa forme d’étoile mesurée. Richardson-Lucy seulement. |
8Limites, et ce qui a été essayé
- La méthode neuronale est en bêta. Elle n’est pas terminée. Elle retire aussi le bruit, et ses flux d’étoiles sont moins fiables que ceux de la méthode classique.
- Peu d’étoiles, pas de déconvolution. Sous 10 étoiles isolées et non saturées, l’image est laissée telle quelle. Une zone sans étoiles emprunte la forme du modèle du champ.
- Les cœurs saturés ne sont pas restaurés. La méthode classique les empêche de produire des anneaux ; les deux méthodes les laissent tels qu’ils ont été photographiés.
- Les anneaux étaient la difficulté. L’amortissement, l’arrêt, le traitement local des anneaux et la protection ont été ajoutés contre les anneaux autour des étoiles et contre le bruit, avec des réglages figés sur des images de réglage et jugés sur 33 autres (ticket 92). Une étape globale de retrait des anneaux, qui rend une partie de ce qui est passé sous l’image mesurée, existe dans le code et est réglée à zéro.
- Durée. Sur un processeur, une couleur prend des minutes ; la méthode neuronale prend aussi des minutes par rangée de tuiles.
Références
- Richardson, W. H. 1972, Bayesian-Based Iterative Method of Image Restoration, J. Opt. Soc. Am. 62, 55 (Richardson-Lucy). doi:10.1364/JOSA.62.000055
- Lucy, L. B. 1974, An iterative technique for the rectification of observed distributions, AJ 79, 745 (Richardson-Lucy). doi:10.1086/111605
- Nagy, J. G. & O’Leary, D. P. 1998, Restoring Images Degraded by Spatially Variant Blur, SIAM J. Sci. Comput. 19, 1063 (les zones fondues entre leurs centres). doi:10.1137/S106482759528507X
- Whyte, O., Sivic, J. & Zisserman, A. 2014, Deblurring Shaken and Partially Saturated Images, International Journal of Computer Vision 110, 185. doi:10.1007/s11263-014-0727-3
- Dey, N. et al. 2006, Richardson-Lucy algorithm with total variation regularization for 3D confocal microscope deconvolution, Microsc. Res. Tech. 69, 260. doi:10.1002/jemt.20294
- White, R. L. 1994, Image restoration using the damped Richardson-Lucy method, Proc. SPIE 2198, 1342, éq. 7, 9 et 10. doi:10.1117/12.176819
- Chen, L., Chu, X., Zhang, X. & Sun, J. 2022, Simple Baselines for Image Restoration (NAFNet), ECCV 2022. arXiv:2204.04676