EntradaLos estudiantes chinos han creado una aplicación para comunicarse con personas sordas y mudas. Proyector DOU: BeWarned - Aplicaciones para personas sordas y con problemas de audición Máquina de reconocimiento de voz para personas sordas
Idea
¡Oye! Mi nombre es Vitaly, soy desarrollador y cofundador de una startup Ser advertido... Desde la infancia, tengo muy poca audición y mi esposa no oye nada, durante mucho tiempo quise comenzar a desarrollar aplicaciones y software para personas sordas y con problemas de audición. Todos los problemas que enfrentan me son familiares.
Yo y mi esposa natalia
Anteriormente, me dediqué al desarrollo de software para aerolíneas civiles en Ucrania, creé una aplicación de realidad aumentada SIMO. Siempre me ha interesado todo lo relacionado con la tecnología. Hace un par de años, conocí a Sergei Malyukov, ahora nuestro CEO, a través de un profesor del Instituto Politécnico de Kiev, con quien estudié una vez.
La idea de crear una aplicación para personas sordas y con problemas de audición se le ocurrió a Sergey en 2013. Una vez que estaba caminando por la calle por la noche, y un automóvil comenzó a tocar la bocina en su espalda, Sergei rápidamente saltó a un lado, pero la pareja que caminaba cerca no se movió. Les gritó que se alejaran, pero permanecieron en el mismo lugar donde estaban. Pronto Sergei se dio cuenta de que eran un par de personas sordas, se comunicaban entre sí en lenguaje de señas. Sergey estaba convencido de que había aplicaciones que le ayudarían a reconocer sonidos peligrosos. Después de analizar aplicaciones y dispositivos existentes para personas sordas y no encontrar una única solución que ayude a reconocer sonidos peligrosos, se propuso hacer una aplicación de este tipo. En el proceso de trabajo, se le unieron varios socios y ahora BeWarned es una autoinversión de los fundadores de la startup.
Tan pronto como me enteré del proyecto y vi los desarrollos, me dejé llevar instantáneamente por la idea y pronto me convertí en cofundador. Sobre este momento Me dedico al desarrollo técnico de una startup.
Implementación
En 2014, se lanzó el primer prototipo de la aplicación BeWarned con la función Sound Monitor, que hizo posible reconocer sonidos peligrosos en tiempo real. Este fue el primer pequeño éxito. Pero eso fue solo el comienzo.
Desde pequeño me gustaba la tecnología, a menudo montaba o desmontaba algo, quería ver qué salía de ello.
A partir de cientos de correos electrónicos y reseñas, quedó claro que las personas sordas necesitan más que una aplicación que reconozca sonidos peligrosos. El sordo tenía mil preguntas sin resolver que se podían resolver. A partir de estas cartas y comentarios se creó la plataforma BeWarned, que reunió a 4 asistentes técnicos para sordos: Sound Monitor, Connect, Emergency Call y Dance.
Sound Monitor resuelve el problema de seguridad detectando sonidos peligrosos (gritos, bocina de coche, ladridos de perros, sirena). En caso de peligro, la aplicación advierte al usuario mediante la vibración y el parpadeo del flash en el teléfono inteligente. Connect ayuda a las personas sordas a comunicarse con los demás: convierte el texto en voz y viceversa. Dance te permite experimentar pistas de música convirtiéndolas en vibraciones, señales de luz y pulsaciones del ecualizador visual. La llamada de emergencia ayuda al usuario a llamar a sus seres queridos que escuchan en busca de ayuda cuando se encuentra en una situación peligrosa.
Se pueden encontrar más videos en nuestro canal
En el verano de 2016, realizamos una prueba beta de la plataforma en los Estados Unidos. Como resultado, el 88,9% de los usuarios informaron que recomendarían la aplicación a sus amigos.
La parte más difícil del desarrollo de BeWarned fue el monitor de sonido, que pasamos varios años desarrollando. El programa para reconocer sonidos peligrosos se basa en redes neuronales. Probamos dos tipos de redes neuronales: el perceptrón multicapa clásico y el convolucional. red neuronal... Pero luego decidimos probar el modelo oculto de Markov, era el que mejor se ajustaba a nuestras tareas.
Para crear una base de datos en la que se basará el algoritmo, nosotros mismos registramos muchas variantes de un tipo de sonido peligroso, por ejemplo, una señal de automóvil, sobre la base de la cual el algoritmo reconocerá los sonidos entrantes y los determinará como pertenecientes a un cierto tipo. Sin embargo, en el curso del trabajo, tuvimos el problema de que el algoritmo de reconocimiento atribuía todos los sonidos entrantes solo a las categorías existentes: una señal de automóvil, un grito, el sonido de una sirena de policía y un perro que ladra. Por ejemplo, si alguien se reía, el programa lo reconocería como perteneciente a una de estas categorías. Para solucionar este problema, tuvimos que segmentar los sonidos, por ejemplo, por frecuencias y otras características. Como resultado, fue posible introducir un tipo de sonido indefinido adicional.
Algún tiempo después del lanzamiento de la plataforma BeWarned, decidimos hacer cambios importantes para mejorar la usabilidad: simplificamos y adaptamos radicalmente todo para la percepción de las personas sordas. Es por eso que relanzamos las aplicaciones individualmente.
En diciembre, se lanzó BW Dance (Android, iOS), que pasó de ser una función de la plataforma BeWarned a una aplicación independiente. BW Dance permite a las personas sordas y con problemas de audición bailar sus canciones favoritas. El usuario agrega sus canciones favoritas a la lista de reproducción y la aplicación convierte la música en vibraciones, flashes y animaciones en la pantalla. El usuario también puede sentir la música a través del reproductor visual. BW Dance fue recibido positivamente por los usuarios tanto en Ucrania como en el extranjero.
Después de eso, lanzamos Connect by Bewarned (Android, iOS), una aplicación que permite que las personas sordas y con problemas de audición se comuniquen con personas oyentes. Para comenzar a comunicarse con una o más personas en la aplicación, solo necesita presionar el botón INICIO y dejar que el interlocutor hable, luego de lo cual la aplicación convierte el discurso en un mensaje de texto que una persona sorda puede leer. La aplicación también convierte texto en voz, una persona sorda necesita escribir lo que quiere decir. Además, hemos desarrollado un conjunto de plantillas que simulan situaciones simples, a menudo repetitivas, como pedir café en una cafetería. Con estas plantillas, una persona sorda puede comunicar algo rápidamente a la persona oyente. También hemos brindado la posibilidad de crear plantillas adicionales para los propósitos personales de cada persona sorda.
resultados
En Ucrania, los periodistas comenzaron a escribirnos activamente, STB, 1 + 1, Channel 5 y otros filmaron historias sobre nosotros. Vimos que las personas se preocupan por las personas con problemas de audición y también nos aseguramos de que centrarnos en la simplicidad y la usabilidad fuera un paso en la dirección correcta. Nos dimos cuenta de que íbamos por buen camino.
Mi esposa y yo hablamos con periodistas del Canal 5
Lanzamos Connect by Bewarned en Product Hunt el 30 de enero y entramos en el TOP 5 del día, y también entramos en la lista de correo oficial. En los comentarios sobre nuestro producto en Product Hunt, recibimos ofertas para ayudarnos a desarrollar localizaciones en francés e incluso en farsi. Junto con las cuatro localizaciones ya existentes: español, ruso, ucraniano e inglés, podremos acercarnos a nuestro objetivo global: hacer la vida más fácil a las personas sordas.
Estoy convencido de que la gente de TI debería utilizar las habilidades que se les han otorgado en beneficio de otras personas. Nuestra pequeña pero exitosa experiencia muestra que las nuevas aplicaciones pueden cambiar significativamente la vida de otras personas. Por eso vamos a seguir trabajando en la idea plasmada en Connect by Bewarned: superar las barreras en la comunicación de los sordos y oyentes, hay unos 400 millones de ellos en el mundo.
Equipo BeWarned de izquierda a derecha: Yo, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, Ira, Anton, Andrey (ahora somos incluso más que en esta foto :))
Las personas como yo a menudo tienen problemas cuando necesitan comunicarse con una persona oyente: un policía, un médico, un banquero. Tenemos garantizados legalmente los mismos derechos y el acceso a los servicios y servicios en igualdad de condiciones con las personas oyentes. Pero, en realidad, nuestras capacidades son significativamente limitadas. Por eso decidimos abordar una tarea verdaderamente global: crear una infraestructura electrónica global que facilite el acceso de las personas sordas a todos los servicios y servicios que están a disposición de las personas oyentes: bancos, hospitales, taxis, etc. En este momento estamos trabajando exactamente en esta tarea.
El principal problema con estas aplicaciones es que este nicho está subdesarrollado. En mi búsqueda, miré más de 30 aplicaciones, y casi todas estaban diseñadas para una audiencia de habla inglesa o personas que viven en Europa o Estados Unidos. Sin embargo, las seis aplicaciones que se presentan a continuación se han convertido en una excepción y, espero, sean de utilidad para alguien.
Modo milagroso
Miracle Modus es una aplicación creada por un desarrollador autista. A juzgar por sus palabras y reseñas en Mercado de juego, la aplicación realmente funciona. El principio de funcionamiento es simple y complejo al mismo tiempo: Miracle Modus dibuja varias líneas y patrones y produce sonidos relajantes que tienen un efecto calmante en las personas con autismo.
Libro de registro de diabetes
Una aplicación que ayuda a personas con diabetes de primer y segundo grado. Aquí puede ingresar toda la información sobre la comida que comió durante el día. El informe completo se puede exportar a Excel para mostrárselo a su profesional de la salud.
Compañero de migraña
Permite a las personas que padecen migraña analizar su estilo de vida y comprender qué factores conducen a los dolores de cabeza. La aplicación también rastrea su sueño para que pueda ver la correlación entre las migrañas y la calidad del sueño.
Golpes
Bumps ayuda a las personas ciegas a aprender Braille. La aplicación solo admite inglés, por lo tanto, es adecuado solo para aquellos que desean aprender a leer no solo en ruso. Además de aprender el alfabeto, Bumps te permite ingresar varias palabras y verlas escribir en Braille.
Existe una aplicación similar para Android: Braile Guide.
Difundir signos
Spread Signs tiene una enorme biblioteca de gestos para ayudar a las personas sordas y mudas a comunicarse. La base de la aplicación incluye más de una docena de idiomas, incluidos ruso, ucraniano e inglés. Puede aprender tanto los gestos para letras individuales como para palabras completas.
Tal acciones simples como hablar por teléfono, bajar las escaleras o incluso averiguar la fecha de vencimiento de la leche puede resultar difícil para las personas con discapacidades. Sin embargo, algunos de estos problemas pueden resolverse con éxito utilizando un teléfono inteligente.
Presentamos una selección de aplicaciones móviles que facilitan la vida de las personas con discapacidad.
Aplicaciones que reconocen el habla
Yandex.Talk
Yandex lanzó recientemente una aplicación que ayuda a las personas sordas y con problemas de audición a comunicarse con conocidos y extraños al traducir el habla hablada en texto y viceversa.
La aplicación puede escuchar y reconocer el habla: todo lo que se le dice se muestra en la pantalla del teléfono inteligente en forma de texto, además de pronunciar las palabras escritas en voz alta.
La aplicación fue inventada y desarrollada por un grupo de estudiantes de MIPT y está impulsada por la tecnología de reconocimiento de voz Yandex SpeechKit.
RogerVoice
RogerVoice es una aplicación que permite a las personas sordas hablar con sus interlocutores por teléfono. La aplicación utiliza tecnología de reconocimiento de voz para convertir voz en texto para que las personas sordas puedan leer lo que la otra persona les está diciendo.
La aplicación apareció gracias a una campaña exitosa de Kickstarter - Una versión beta de la aplicación está disponible actualmente y se puede descargar desde el sitio web de RogerVoice.
Una aplicación que te ayuda a escuchar
HearYouNow
Con esta aplicación, los usuarios con problemas de audición pueden ajustar el sonido según la situación en la que se encuentren: en un lugar público, en una reunión, etc. Para hacer esto, se conectan auriculares al teléfono inteligente, a través del cual se suministra el sonido con la configuración adecuada para optimizar el fondo o el primer plano.
Desarrollada por ExSilent, un fabricante de audífonos holandés, la aplicación está diseñada para personas que pueden usar Audífonos, pero aún no está listo para ello.
¡Hola!
"El pan nutre el cuerpo y el libro nutre la mente" ...
Los libros son uno de los tesoros más valiosos del hombre moderno. Los libros aparecieron en la antigüedad y eran muy caros (¡un libro podría cambiarse por un rebaño de vacas!). ¡En el mundo moderno, los libros están disponibles para todos! Al leerlos, nos volvemos más alfabetizados, nuestra perspectiva e ingenio se desarrollan. Y, en general, ¡todavía no hemos encontrado una fuente de conocimiento más perfecta para transferirnos unos a otros!
Con desarrollo tecnologia computacional(especialmente en los últimos 10 años): se ha hecho posible no solo leer libros, sino también escucharlos (es decir, podrá leerlos programa especial, voz masculina o femenina). me gustaría contártelo herramientas de software para la actuación de voz del texto.
Posibles problemas de grabación
Antes de pasar a la lista de programas, me gustaría detenerme en un problema común y considerar casos en los que el programa no puede leer el texto.
El punto es que hay motores de voz, pueden ser de diferentes estándares: SAPI 4, SAPI 5 o Microsoft Speech Platform (en la mayoría de los programas de reproducción de texto se puede elegir esta herramienta). Entonces, es lógico que además de un programa de lectura por voz, se necesite un motor (dependerá de en qué idioma te leerán, en qué voz: masculino o femenino, etc.).
Motores de voz
Los motores pueden ser gratuitos y comerciales (por supuesto, mejor calidad la reproducción de sonido es proporcionada por motores comerciales).
SAPI 4. Versiones desactualizadas de herramientas. No se recomienda utilizar versiones obsoletas para PC modernas. Es mejor echar un vistazo más de cerca a SAPI 5 o Microsoft Speech Platform.
SAPI 5. Motores de voz modernos, tanto gratuitos como de pago. En Internet se pueden encontrar docenas de motores de voz SAPI 5 (con voces femeninas y masculinas).
Uno de los mas mejores programas para doblar el texto. Permite que su PC lea más que solo archivos simples en formato txt, pero también noticias, RSS, cualquier página web en Internet, Email etc.
Además, te permite convertir texto a un archivo mp3 (que luego puedes descargar a cualquier teléfono o reproductor de mp3 y escuchar en la carretera, por ejemplo). Aquellos. ¡Puedes crear audiolibros tú mismo!
Las voces del programa IVONA son muy parecidas a las reales, la pronunciación no es suficientemente mala, no tropiezan. Por cierto, el programa puede ser útil para quienes están estudiando. idioma extranjero... Gracias a ella, puedes escuchar la pronunciación correcta de ciertas palabras, gira.
Soporta SAPI5, además de que coopera bien con aplicaciones externas (por ejemplo, Apple Itunes, Skype).
Ejemplo (entrada de uno de mis artículos recientes)
De las desventajas: lee algunas palabras desconocidas con acento y entonación incorrectos. En general, no es suficientemente malo escuchar, por ejemplo, un párrafo de un libro de historia mientras asiste a una conferencia / lección, ¡incluso más que eso!
Balabolka
Un excelente programa para trabajar con libros: lectura, catalogación, búsqueda del deseado, etc. Además de documentos estándar que pueden ser leídos por otros programas (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT, FB2-TXT, etc.) El lector de libros ICE admite formatos de archivo .LIT, .CHM y ePub.
Además, ICE Book Reader permite no solo leer, sino también una excelente biblioteca de escritorio:
- le permite almacenar, procesar, catalogar libros (¡hasta 250.000 mil copias!);
- ordenamiento automático de su colección;
- una búsqueda rápida de un libro de su "vertedero" (especialmente importante si tiene mucha literatura no catalogada);
- El motor de base de datos de ICE Book Reader supera a la mayoría de los programas de este tipo.
Además, el programa te permite leer textos con voz.
Para hacer esto, vaya a la configuración del programa y configure dos pestañas: "Modo" (seleccione lectura de voz) y "Modo de texto a voz" (seleccione el motor de voz).
Hablador
¡Con Sakrament Talker, puede convertir su computadora en un audiolibro "hablante"! Sakrament Talker admite formatos RTF y TXT, puede reconocer automáticamente la codificación del archivo (probablemente, a veces notó que algunos programas abren un archivo con "crackers" en lugar de texto, ¡pero esto es imposible en Sakrament Talker!).
Además, Sakrament Talker te permite jugar lo suficiente archivos grandes, encuentre rápidamente ciertos archivos. El texto con voz no solo se puede escuchar en una computadora, sino que también se puede guardar en un archivo mp3 (que luego se puede copiar a cualquier reproductor o teléfono y escucharlo fuera de la PC).
En general, no del todo mal programa que es compatible con todos los motores de voz populares.
Eso es todo por hoy. A pesar de que los programas de hoy todavía no pueden leer completamente (100% cualitativamente) el texto para que una persona no pueda determinar quién lo está leyendo: un programa o una persona ... Pero creo que algún día los programas llegarán a esto: el poder de las computadoras crecen, los motores aumentan de volumen (incluyendo cada vez más incluso los giros de habla más complejos), lo que significa que muy pronto el sonido del programa será indistinguible del habla humana ordinaria.
Dos estudiantes de la Universidad Beihai de Beijing han desarrollado una aplicación para ayudar a las personas sordas en China. La aplicación se llamó Shouyin, que literalmente significa "la voz de las manos". Te permite traducir los signos del lenguaje de los sordos al habla en tiempo real.
La aplicación funciona en conjunto con una pulsera inteligente y al momento puede reconocer más de 200 caracteres, cada carácter ha sido grabado mil veces por diferentes personas para mejorar la precisión de la traducción. Ahora la tasa de reconocimiento es del 95%.
La joven Nana Wan, quien es una de las desarrolladoras, dijo que se inspiró en un amigo sordomudo con quien solo podía comunicarse a través de mensajes en teléfono móvil... En China, aproximadamente el 5% de la población, o 70 millones de personas, son sordos. La aplicación sin duda será un gran éxito. El lanzamiento oficial de la aplicación está programado para finales de mayo. Ya existen programas similares en otros países del mundo. Por ejemplo, Uni de MotionSavvy y traductor para sordos y mudos de Google Chats.
Las tecnologías actuales se están desarrollando a un ritmo rápido, incluso en las esferas sociales y en la medicina. Ayudan no solo a hacer frente a varios tipos de dolencias, sino también a comprender mejor a su vecino, incluso si su percepción del mundo difiere de la suya. Hablar con una persona sordomuda te ayudará aplicación especial, mientras que la tecnología de realidad virtual puede ayudar, por ejemplo, a comprender el autismo y, por tanto, acercarte a quienes padecen esta enfermedad.
Varios estudios han demostrado que más del 99% de las personas han oído hablar del autismo, pero solo el 16% comprende realmente lo que significa esta condición mental. Y según una encuesta del Reino Unido, más del 25% de las personas con autismo alguna vez han pedido abandonar un lugar público, como un restaurante o una tienda, cuando vieron síntomas de su enfermedad.
Para abordar este problema de desinformación, la Sociedad Nacional Autista Británica decidió crear Película de realidad virtual eso ayudaría a todas las personas a saber cómo es vivir con un diagnóstico similar. GmbH ha escrito sobre esto.
Este video virtual lo llevará al cuerpo de un niño con autismo y le mostrará el mundo a través de sus ojos. En la película, entras en un centro comercial y experimentas la tremenda carga sensorial que siente cuando camina por este lugar abarrotado. El ruido, la abundancia de varios objetos, las flores, el parpadeo de las personas, sus voces, todo esto hace que el niño entre en pánico, lo cual es muy difícil de manejar para él.
Otra comunidad de Alzheimer también ha lanzado una película de realidad virtual que te pone en el lugar de alguien con demencia. La película "Un paseo por la demencia" le permitirá comprender cómo algunas actividades diarias simples, como prepararse una taza de té, pueden convertirse en un verdadero problema para alguien con esta enfermedad.