Reconnaissance visuelle et matching produit dans le mobilier

Pourquoi la photo, dans le meuble

Dans l'électronique, une référence fabricant suffit souvent à relier deux offres. Dans le meuble, le même canapé peut s'appeler Oslo chez une enseigne, Nordik chez une autre et porter une simple référence numérique sur une marketplace. Les photos changent aussi, mais beaucoup moins que les noms : la silhouette, les proportions, les accoudoirs, les coutures et le piètement restent ceux du produit.

C'est pourquoi la reconnaissance visuelle est devenue la méthode de base pour rapprocher des meubles qui n'ont aucun identifiant commun.

Comment fonctionne la reconnaissance visuelle

Un modèle de vision par ordinateur lit une photo et en tire une représentation numérique, souvent appelée vecteur ou plongement. Deux photos du même produit, ou de produits très proches, donnent des vecteurs proches. Comparer un produit à tout un marché revient alors à chercher ses plus proches voisins parmi des milliers de vecteurs, une opération que des outils spécialisés font très vite, même sur de très grands volumes.

Deux grandes familles de modèles servent de point de départ :

• les modèles appris sur des images seules, qui produisent des représentations visuelles robustes sans étiquettes humaines ;
• les modèles appris en associant des images et des textes, entraînés sur des centaines de millions de paires image-texte.

Ces modèles savent qu'une photo montre un canapé d'angle. Ils savent beaucoup moins bien qu'un canapé à accoudoirs fins et pieds compas n'est pas le même que son voisin à accoudoirs pleins. D'où l'étape suivante.

Affiner sur des paires de meubles

Pour qu'un modèle sépare des produits presque semblables, on l'entraîne sur des exemples du métier : des paires de photos annotées « même produit » ou « produit différent ». Chaque paire validée par un humain lui apprend ce qui compte vraiment dans un canapé, et ce qui n'est qu'un effet de mise en scène.

La préparation des photos pèse autant que le modèle :

• ne comparer que le produit : le fond, le tapis ou la plante ne doivent pas peser dans la comparaison ;
• préférer les photos de face ou de trois quarts, comparables d'un site à l'autre ;
• comparer plusieurs vues quand elles existent, plutôt qu'une seule photo d'ambiance.

Ce que la photo ne voit pas

La vision a des angles morts qui comptent dans le meuble :

• la taille : un deux-places et un trois-places du même modèle se ressemblent beaucoup en photo ;
• les mécanismes : un canapé convertible fermé ressemble à un canapé fixe ;
• le sens de l'angle, une photo inversée suffisant à tromper le modèle ;
• la matière, un velours et une chenille de même couleur pouvant se confondre.

C'est pourquoi la photo doit être croisée avec les caractéristiques : dimensions, nombre de places, fonctions. Un bon système écarte une paire dès qu'une de ces règles la contredit, même si les photos se ressemblent.

Mesurer la qualité

Un moteur de matching se juge sur deux chiffres :

• la précision : parmi les paires qu'il propose, combien sont justes ;
• le rappel : parmi les vraies paires qui existent, combien il trouve.

Dans une veille prix, une fausse paire coûte plus cher qu'une paire manquée, parce qu'elle produit un faux écart de prix puis une mauvaise décision. Mieux vaut donc être exigeant, et confier les cas douteux à une validation humaine. Ces validations deviennent à leur tour des exemples d'entraînement.

La recherche par l'image sur le web

Les moteurs de recherche par l'image du grand public retrouvent un produit à partir d'une photo et indiquent où l'acheter. Ils font parfois apparaître des vendeurs absents des listes habituelles. Leurs résultats demandent toutefois le même contrôle : même taille, même fonction, même produit.

Sources