Cuño kariguna kariguna.com

proyecto

SimiCam

Traduce con la cámara y conversa en más de 11 idiomas, incluso sin internet. Apunta a cualquier texto y la traducción aparece superpuesta en tiempo real. Toma una foto y traduce el texto de la imagen sobre la misma foto. Habla con quien no hable tu idioma: la app escucha, traduce y lee en voz alta.

De dónde salió la idea

La idea surgió estando mi esposa revisando unas recetas para un aparato que compramos y las recetas vienen en otro idioma, se acercó a mí preguntando si tenía alguna aplicación para traducir al momento, le dije que no porque en ese momento estaba en otras cosas y no revisé en profundidad en mi cabeza que podrían existir otras apps que pudieran hacerlo y como estaba en esos momentos probando unos agentes de IA que estaba trabajando, decidí ponerlos en práctica e ir optimizándolos hasta llegar al punto que el modelo de gobierno que uso me da buenos resultados; sé que han salido muchos agentes pero de momento me quedo con los míos ya que cuando sale algún skill nuevo, se crea. Pero esa es otra historia que la publicaré más adelante.

Cómo surgió

Como mencioné anteriormente, surgió la idea y la puse en práctica con ayuda de la IA porque algunas cosas desconocía del mundo móvil, es mi primera app.

El proceso no fue corto ya que como estaba afinando el modelo de gobierno de IA, así es como lo llamo a toda la estructura de agentes, skills, prompts, instructions, etc., no fue tampoco 'coser y cantar'. Tampoco es el cuento de muchos vendehumos que hay diciendo por allí que hacen una app en 30min, pero sabiendo que si vas a sacar un producto aunque sea gratuito, allí hay que tener mucho cuidado en lo que sacas ya que aunque vaya con soporte de la IA, hay que tener cuidado. Fueron muchas noches y fines de semana hasta que la rueda comenzó a andar sin pincharse.

Decisiones tomadas, pues, la verdad que primero y como suelo hacer con cualquier proyecto, es investigar, así que puse a la IA a que hiciera una investigación para desarrollar la app, siempre me creo una carpeta docs dentro del workspace con todo el i+d+i del proyecto, luego de terminar la IA con el resultado, lo leo y voy tomando notas para hacer ajustes y observaciones de sus propuestas, claro dada mi experiencia en este espacio del desarrollo de software, lo pongo en práctica para no tragar entero y pulir las necesidades.

Problemas encontrados, uff, muchos, por eso, que cuando alguien te diga, hice una app en 30min, ponlo en duda porque aunque la IA sea muy lista, siempre hay cosas que no van y depende de la tecnología porque en la parte móvil, estaba muy floja en ese entonces y tuve que iterar mucho para hacer ajustes, sobre todo por las alucinaciones que se pegaba la IA que hacía cosas y en algún momento me revirtió una corrección y le pedí que la restaurara, por suerte, había respaldo.

Qué descarté de la app, pues, si vamos a meternos en líos, prácticamente he descartado cobrar por la app, ya que como sabemos, todos queremos las cosas que no nos cuesten mucho o nada, así que al ser mi primera app, decidí meter anuncios, me da igual, prácticamente lo que más me satisface, es llegar a tener un producto que funcione y que sea útil, no me voy a forrar con la app, tampoco es mi trabajo oficial, gracias a Dios, sé que es muy duro el ser freelance; pero en fin, continuando con lo que descarté, eso, no cobrar por la app, hay muchas apps buenísimas, claro está, no del mismo ramo, a lo que me refiero es que hay muchas apps gratuitas y casi nadie o nadie quiere comprar apps; pero son de utilidad para mostrarte aunque sea por hobby.

A medida que iba avanzando, se me ocurrían otras ideas, primero nació para traducir textos ya sean de carteles, nombres de calles, etc. algo como para turistas, pero me encontré con el problema de la traducción en tiempo real que si tienes pulso de maraquero, vas a quedarte media hora o buscar un soporte para que se quede quieto el brazo, así que decidí hacer la traducción a partir de tomar una foto y traducirla, sería más eficiente y menos demorado, claro está, depende de la cantidad de texto a traducir, seamos francos, no es lo mismo traducir cuatro frases que una página completa con texto pequeño y con gráficos, etc.

Pues después de esa solución, que iba relativamente bien, surgió el problema de las imágenes o espacios en blanco y la traducción que se hacía era toda en línea y no se sabía dónde carajos pertenecía el texto traducido, así que nuevamente a investigar y surgió la idea de sobre la misma foto hacer la traducción, y en esa estamos en la nueva versión, haciendo pequeños ajustes pero va mucho mejor que la versión anterior, eso sí, también se modificó la interfaz completamente, la anterior, lo reconozco, era muy cutre 😉 me parece que ahora está más chula aunque le falta pulirla más para que llegue a premios 😜.

Qué hace

Capturas

La última es una prueba real: el envase de un producto alemán fotografiado en tienda, con la traducción superpuesta encima de la misma foto.

Estado y roadmap

Qué está terminado, pues decir que un producto está terminado, sería una falacia, aunque lo que está implementado, funciona relativamente bien, aún sigue faltando mejorar.

Mi esposa en un momento que comenzó a usar la app, quería traducir una palabra o palabras y le dije, la app no hace eso, y de allí, le he adicionado esa funcionalidad, un traductor de texto, más simple que el Translator eso sí lo reconozco, pero ayuda.

Qué otra cosa falta, testearlo bastante en la funcionalidad de conversación, sólo lo he podido testear con catalán, italiano, inglés, que son las lenguas que en algún momento he utilizado en mi larga vida, gracias a Dios.

Siguientes pasos, estoy en fase de investigación para meter IA a la app y las conversaciones sean más fluidas al igual que la traducción de lenguas como coreano, que mi sobrina está aprendiéndolo y lo ha testeado en esa lengua y me dice que falla; es uno de los problemas que tiene el ML Kit en local, en la nube seguro que irá mejor, pero no es la idea, la idea siempre surgió que todo sea en local y no salga nada de tu dispositivo.

Para cuándo, espero que no tarde mucho pero podría porque las condiciones que pone Google para salir una app a producción son muy exigentes, 14 personas en 14 días testeando la app y aunque la app sea gratuita, hay pocas personas que me están ayudando y se los agradezco enormemente.

Anécdota: Mira que sí resulta útil la app porque he estado en algunos supermercados y algún producto extranjero y ni idea de lo que dice, por ejemplo en alemán, he tomado la foto y traduce en un 95% diría yo el texto y por lo menos te enteras de qué está hecho, la dosis, las contraindicaciones, etc.

Ficha técnica

Plataforma
Android
Package
com.simicam.simicam
Package futuro
com.kariguna.simicam
Idiomas de interfaz
11
Idiomas en la nube
127 (disponibles sólo los 11 de la interfaz)
Versión
pendiente de confirmar
Estado
en desarrollo — sin publicar

Google Play

Hasta no pasar la fase de pruebas, Google Play no permitirá publicar la app en producción.

¿Quieres probarla antes?

¿Quieres probar los proyectos antes de que salgan? Apúntame →