Microsoft ha llançat una eina de reconeixement d’imatges que intenta descriure el contingut d’una imatge. Aquesta eina d’intel·ligència artificial encara es troba en fase de desenvolupament i està aprenent constantment de les imatges que han penjat els usuaris.

Pel que fa a la precisió, de vegades la descripció és força exacta, mentre que a vegades CaptionBot ofereix descripcions que no tenen res a veure amb el que es representa. També hi ha casos en què l'aplicació no pot proporcionar una descripció en absolut, a causa del seu estat aproximat a la vora.

Microsoft va dissenyar CaptionBot per aprendre amb més experiència, amb l'esperança que els seus subtítols es convertiran en més precisos amb el pas del temps. Com més fotos puguin, millor serà l'aplicació, tal com es descriu a CaptionBot:

Puc entendre el contingut de qualsevol imatge i intentaré descriure-ho tan bé com a qualsevol humà. Encara estic aprenent, així que afegiré la teva foto, però no hi ha informació personal.

CaptionBot utilitza tres tecnologies per descriure el que es mostra en una imatge: Microsoft Computer Vision, Emotion i Bing Image. L’API Computer Vision extreu informació enriquida d’imatges per categoritzar i processar dades visuals a més d’identificar i extreure text d’una imatge. L'API Emotion, com el seu nom indica, analitza cares per detectar diversos sentiments, tot des de la ira, el menyspreu, el fàstic, la por, la felicitat, la neutralitat, la tristesa i la sorpresa. Bing Image cerca imatges al web.

Hem provat CaptionBot i els resultats han estat precisos en un 50% dels casos. Per exemple, hem penjat dues imatges: una que representa un ratolí de joc, l’altra una pila de cartes. En ambdós casos, l’eina va suggerir que es tractés d’un telèfon mòbil. Per altra banda, CaptionBot va detectar amb precisió humans i cares.

Pel que sembla, CaptionBot té una obsessió amb els mòbils. Un usuari de Twitter va informar que l’aplicació va pensar que Michelle Obama era un telèfon mòbil. Per obtenir més subtítols divertits de CaptionBot, consulta aquesta pàgina de Twitter.

També podeu provar CaptionBot aquí. Doneu-ho la prova: o bé ajudaràs a l'eina a millorar o tens una bona rialla!