Manipolazione di Immagini con DragGAN: Esplorando l’Infinita Creatività

La sintesi di contenuti visivi che soddisfano le esigenze degli utenti richiede spesso un controllo flessibile e preciso della posa, della forma, dell’espressione e del layout degli oggetti generati. Le approcci esistenti ottengono il controllo delle reti generative avversariali (GAN) tramite dati di addestramento annotati manualmente o un modello 3D precedente, che spesso mancano di flessibilità, precisione e generalità. In questo lavoro, viene studiato un modo potente ma molto meno esplorato di controllare le GAN, ovvero “trascinare” qualsiasi punto dell’immagine per raggiungere precisamente i punti di destinazione in modo interattivo per l’utente, come mostrato in Fig.1. Per ottenere ciò, viene proposto DragGAN (vedi anche “Drag Your GAN“), che si compone di due componenti principali: 1) una supervisione del movimento basata sulle caratteristiche che spinge il punto di controllo a spostarsi verso la posizione desiderata e 2) un nuovo approccio al tracciamento dei punti che sfrutta le caratteristiche discriminative del generatore per localizzare continuamente la posizione dei punti di controllo. Attraverso DragGAN, chiunque può deformare un’immagine con un controllo preciso su dove vanno i pixel, manipolando così la posa, la forma, l’espressione e il layout di diverse categorie come animali, automobili, persone, paesaggi, ecc. Poiché queste manipolazioni vengono eseguite sulla manifold delle immagini generative apprese da una GAN, tendono a produrre risultati realistici anche per scenari sfidanti come l’immaginazione di contenuti occulti e la deformazione di forme che seguono in modo coerente la rigidità dell’oggetto. Sia le comparazioni qualitative che quantitative dimostrano l’avvantaggio di DragGAN rispetto agli approcci precedenti nei compiti di manipolazione delle immagini e tracciamento dei punti. Mostreremo anche la manipolazione di immagini reali tramite l’inversione della GAN.