Snip Insights lleva la IA a la herramienta Snipping con información de valor inteligente

¿Qué pasaría si el flujo de trabajo de todos los días fuera re-imaginado a través del poder de la IA para inspirar y deleitar? ¿Qué pasaría si los usuarios pudieran lograr más con una herramienta que sea sencilla, accesible y familiar?

Millones de usuarios de Windows desempeñan la misma tarea todos los días. Las capturas de pantallas son tomadas todo el tiempo, pero conforme la tecnología avanza a pasos agigantados, las herramientas para hacer capturas de pantalla aún no han cambiado del todo.

Snip Insights es un proyecto interno de Microsoft Garage enfocado en inyectar la IA en el proceso de las capturas de pantalla.

El proyecto tiene tres metas principales. Una es revolucionar la manera en la que ustedes buscan, al cambiar el paradigma de la búsqueda basada en texto, hasta la búsqueda basada en imágenes. Otra meta es aumentar la productividad al brindar información de valor a sólo un recorte de distancia. El último es generar información de valor acerca de las ilimitadas posibilidades de la IA.

Acerca del equipo

En Microsoft Vancouver, la curiosidad de siete becarios fue despertada por una propuesta por parte del equipo de Cloud AI. El equipo de pasantes, compuesto por cinco desarrolladores, un diseñador y un gerente de programación, fue retado a re-imaginar por completo las herramientas que millones de usuarios aman a través de las capacidades de IA. Así fue como Snip Insights nació.

[caption id="attachment_17525" align="aligncenter" width="1024"] El equipo de Snip Insights (de izquierda a derecha) David Wu, Mehdi Chaid, Christie Chan, Paulo Aguiar Araujo, entrenador (visto en pantalla Evgeny Vinnik, entrenador), Jeffry Chang (en pantalla Marius Ungureanu, entrenador) Vivy Wang, Charmaine Lee[/caption]

¿Qué es Snip Insights?

Snip Insights es una utilidad de escritorio de código abierto que permite a los usuarios de Windows recuperar ideas inteligentes de imágenes a través de una simple captura de pantalla. De manera esencial, las capturas son fotografías de la vida de las personas. Snip Insights los ayuda a lograr más con esas historias al aprovechar los servicios de Cloud AI para convertir imágenes a texto traducido, detectar y etiquetar de manera automática su contenido de imágenes junto con muchas otras sugerencias de imágenes inteligentes que los ayudarían a mejorar su flujo de trabajo mientras que se explota el potencial de Azure Cognitive Services.

Imaginen que han escaneado un libro de texto o un reporte de trabajo. En lugar de tener que teclear de manera manual la información, recortarla regresará el texto editable con sólo dar un clic. O tal vez navegan por sus redes sociales y se encuentran con alguien que utiliza un par de zapatos que les gustaron mucho. ¡Ustedes podrían sólo recortarlos para saber dónde los pueden comprar! Snip Insights puede mostrarles información relevante basada en lo que han recortado, incluida gente famosa, lugares o referencias.

El diseño de Snip Insights

Inyectar capacidades de IA parece ser algo desalentador a nivel técnico. Encontrar un enfoque también fue una prueba meticulosa. El equipo pasante fue provisto con un arsenal de recursos, pero tenían que forjar el camino hacia un producto propio a través de interminables sesiones de lluvia de ideas, escribir en pizarras blancas y mapeos mentales.

Desde un punto de vista técnico, se redujo a recuperar Windows Snipping Tool o Snip, un proyecto retirado de Microsoft Garage que les permite a los usuarios anotar en una foto o captura de pantalla con funciones de voz y tinta, y compartirla con otras personas. Por último, el equipo eligió Snip para una integración directa en Azure Cognitive Services, y para una facilidad general de lanzamiento como una herramienta independiente. Snip, diseñada en la plataforma WPF con C#, fue una sólida base para este proyecto.

Iteraciones rápidas

Una parte integral de la experiencia fue conducir la investigación de usuarios y el desarrollo enfocado en el usuario. El equipo probó de manera constante, iteraciones internas, trabajo con desarrolladores, diseñadores, PMs y personas interesadas. Se volvió claro que uno de los retos más grandes sería decidir sobre una audiencia fija.

Cualquier usuario de computadora tiene acceso a las herramientas de captura de pantalla. La retroalimentación por parte de los usuarios varía de manera drástica; cada persona ha usado sus herramientas de maneras distintas y para diferentes propósitos. Los becarios descubrieron muchas cosas a través de prueba y error. Aprendieron a reaccionar de manera rápida al cambio, sin importar que fuera el descubrimiento de un nuevo problema visual de diseño o un repentino obstáculo técnico. En algún punto, sólo un par de días antes del hito clave, el equipo decidió rediseñar por completo la interfaz de usuario basados en la opinión crítica de un usuario, para lograr distanciar más aún el producto del diseño visual del Snip original, y cerrar la brecha hacia el diseño de lenguaje de Fluent. La capacidad de iterar de manera rápida como un equipo probó ser la habilidad más invaluable.

Infinitas posibilidades para el desarrollo impulsado por la comunidad

Al lanzar el proyecto de código abierto, el equipo espera inspirar a los desarrolladores en todo el mundo a innovar y mejorar sus esfuerzos. El GitHub de Snip Insights repositorio será mantenido por el equipo de Cloud AI, la pasantía fue de cuatro cortos meses donde los becarios trabajaron en su propio equipo al desarrollar e iterar en este proyecto como parte del Garage Internship Program en Vancouver. A pesar de que habían sido asignados por el grupo de Cloud AI con un reto específico, las posibilidades de la solución eran bastantes. Hubo varios casos de uso explorados, aunque no realizados. Un caso de uso fue la inyección de inteligencia en el proceso actual de recorte, ¿Qué pasaría si la herramienta fuera lo bastante inteligente como para reconocer el borde y silueta de los objetos, y eliminar por completo pasos y software de terceros?

Con el poder de Microsoft AI y Cognitive Services, cualquier desarrollador puede crear aplicaciones inteligentes que serían amadas por usuarios en todo el mundo. Si tienen la motivación, curiosidad e impulso, toda la información y recursos están disponibles por completo.

¡Snip Insights está ahora en GitHub y esta es una invitación para que ustedes contribuyan con sus ideas!

Revisen otros proyectos de Garage diseñados por el Garage Intership Program en Vancouver, incluidos Write Ideas, My Workspace y Your News.