SCNet: Learning Semantic Correspondence

Kai Han; Rafael Rezende; Bumsub Ham; Kwan-Yee Wong; Minsu Cho; Cordelia Schmid; Jean Ponce

doi:10.1109/ICCV.2017.203

SCNet: Learning Semantic Correspondence

Kai Han ¹ Rafael Rezende ^{2, 3} Bumsub Ham ⁴ Kwan-Yee Wong ¹ Minsu Cho ⁵ Cordelia Schmid ⁶ Jean Ponce ^{2, 3}

1 HKU - The University of Hong Kong

2 WILLOW - Models of visual object recognition and scene understanding

Inria de Paris, DI-ENS - Département d'informatique de l'École normale supérieure

3 LIENS - Laboratoire d'informatique de l'école normale supérieure

4 Yonsei University

5 POSTECH

6 Thoth - Apprentissage de modèles à partir de données massives

LJK - Laboratoire Jean Kuntzmann, Inria Grenoble - Rhône-Alpes

Abstract : This paper addresses the problem of establishing semantic correspondences between images depicting different instances of the same object or scene category. Previous approaches focus on either combining a spatial regular-izer with hand-crafted features, or learning a correspondence model for appearance only. We propose instead a convolutional neural network architecture, called SCNet, for learning a geometrically plausible model for semantic correspondence. SCNet uses region proposals as matching primitives, and explicitly incorporates geometric consistency in its loss function. It is trained on image pairs obtained from the PASCAL VOC 2007 keypoint dataset, and a comparative evaluation on several standard benchmarks demonstrates that the proposed approach substantially out-performs both recent deep learning architectures and previous methods based on hand-crafted features.

Keywords : Semantic matching Region matching Deep learning architecture

Type de document :

Communication dans un congrès

ICCV 2017 - International Conference on Computer Vision, Oct 2017, Venise, Italy. IEEE, pp.1849-1858, 2017, International conference on computer vision. 〈10.1109/ICCV.2017.203〉

Domaine :

Informatique [cs] / Vision par ordinateur et reconnaissance de formes [cs.CV]

Liste complète des métadonnées

Littérature citée [49 références] Voir Masquer Télécharger

https://hal.archives-ouvertes.fr/hal-01576117
Contributeur : Rafael Sampaio de Rezende <>
Soumis le : mardi 22 août 2017 - 13:18:45
Dernière modification le : jeudi 7 février 2019 - 14:42:21

SCNet_ICCV.pdf

Fichiers produits par l'(les) auteur(s)

SCNet: Learning Semantic Correspondence

Fichier

Identifiants

Collections

Citation

Exporter

Métriques

1064

612

SCNet: Learning Semantic Correspondence

Fichier

Identifiants

Collections

Citation

Exporter

Partager

Métriques

1064

612