description.ttxt

Definición del probelma, input, output e interfaz
==================================================

* Definición del problema:  la problemática planteada en el siguiente programa trata la dificultad de algunas personas para interactuar con el mundo técnológico que nos rodea, 
si bien la tecnología avanza rápidamente para el usuario promedio, también existe un segmento del público con ciertas discapacidades a la hora de acceder a la tecnología disponible.
* Solución: Este programa trata una imágen o fotógrafía, interpréta la misma explicando los detalles más significantes y la explica en formato audio, conversionando primero de formato imágen a texto, y luego texto a audio.
* Input: archivo en formato .jpg o .jpeg cargado por el usuario.
* Output: archivo de audio en formato .wav con una transcripción del archivo anterior.
* Interfaz: presenta una caja para que el usuario arrastre la imagen o la seleccione desde su propio path, con un botón de color se realiza la conversión de la que se obtiene el audio en el siguiente cuadro.

Descripción de los modelos utilizados
======================================

* Salesforce/blip-image-captioning-large: Este modelo toma una imagen como entrada y genera una descripción textual que resume su contenido. Se trata de una tarea conocida como image captioning,
combina procesamiento de lenguaje natural (NLP) con visión computacional. Preentrenado en grandes conjuntos de datos que contienen pares de imágenes y descripciones textuales, 
la calidad de las descripciones depende de las imágenes de entrenamiento, y puede generar resultados vagos o inexactos para imágenes poco comunes.

* microsoft/speecht5_tts: Convierte texto en un archivo de audio, sintetizando voz natural. Este modelo pertenece a la familia de tareas conocidas como text-to-speech.Su arquitectura es modular, 
lo que permite usarlo para múltiples tareas, incluyendo síntesis de voz (text-to-speech), reconocimiento de voz (speech-to-text), y conversión de habla a habla (speech-to-speech), utiliza embeddings (representaciones vectoriales) 
que definen características del habla, como el timbre, el estilo o el idioma del hablante.

Descripcion del dataset utilizado
==================================

* Matthijs/cmu-arctic-xvectors: define el estilo y las características del hablante que SpeechT5 utiliza para generar la voz. En este caso, se selecciona un vector específico del conjunto de datos (índice 7306).

Flujo del programa
===================

* Carga del modelo de imagen a texto:

Se inicializa un pipeline para el modelo BLIP desde Hugging Face (pipeline("image-to-text", model="Salesforce/blip-image-captioning-large")).
El texto generado se obtiene enviando la imagen a la API mediante una solicitud POST.

*Carga del modelo de texto a audio:

Se carga un pipeline para el modelo SpeechT5 desde Hugging Face (pipeline("text-to-speech", model="microsoft/speecht5_tts")).
Se selecciona un "speaker embedding" específico del dataset CMU Arctic para personalizar la voz sintetizada.

*Definición de funciones principales:

image_to_text(image_path): Envía una imagen a la API y devuelve el texto generado.
text_to_audio(text): Convierte texto en audio usando el modelo y guarda el resultado como un archivo WAV.

Se combina las dos funciones en un flujo unificado usando fn=lambda image: text_to_audio(image_to_text(image)).

Limitaciones
============

Los modelos utilizados son grandes y pueden consumir muchos recursos computacionales, especialmente si se ejecutan en hardware limitado (como CPU).
La síntesis de voz y la generación de subtítulos para imágenes pueden ser lentas, lo que afecta la experiencia del usuario.
Podría generar descripciones genéricas para imágenes complejas o con contextos específicos.
No siempre detecta detalles precisos o elementos pequeños en la imagen.
La calidad del texto generado puede ser inconsistente, especialmente para imágenes fuera de los datos en los que el modelo fue entrenado.