ingångKinesiska studenter har skapat en applikation för kommunikation med dövstumma människor. DOU Projector: BeWarned - Applications for the Deaf and Hard of Hearing Speech Recognition Machine for the Deaf
Aning
Hallå! Jag heter Vitaly, jag är en utvecklare och medgrundare av en startup Var varnad... Sedan barndomen har jag mycket svag hörsel, och min fru hör inte alls, länge ville jag börja utveckla applikationer och programvara för döva och hörselskadade. Alla problem de möter är bekanta för mig.
Jag och min fru Natalia
Tidigare var jag engagerad i mjukvaruutveckling för civila flygbolag i Ukraina, jag skapade en augmented reality-applikation SIMO. Jag har alltid varit intresserad av allt som har med teknik att göra. För ett par år sedan träffade jag Sergei Malyukov, nu vår VD, genom en lärare vid Kiev Polytechnic Institute, som jag en gång studerade med.
Idén att skapa en applikation för döva och hörselskadade kom till Sergey 2013. När han en gång gick på gatan på kvällen och en bil började tuta i ryggen hoppade Sergei snabbt åt sidan, men paret som gick i närheten vek sig inte. Han ropade efter dem att de skulle flytta, men de stod kvar på samma plats där de stod. Snart insåg Sergei att det var ett par döva, de kommunicerade med varandra på teckenspråk. Sergey var övertygad om att det fanns applikationer som skulle hjälpa honom att känna igen farliga ljud. Efter att ha analyserat befintliga applikationer och prylar för döva och inte hittat en enda lösning som hjälper till att känna igen farliga ljud, satte han sig för att göra en sådan applikation. Under arbetets gång anslöt sig flera partners till honom och nu investerar BeWarned själv av grundarna av startupen.
Så fort jag hörde talas om projektet och såg utvecklingen blev jag genast medtagen av idén och blev snart medgrundare. På det här ögonblicket Jag är engagerad i den tekniska utvecklingen av en startup.
Genomförande
2014 släpptes den första prototypen av BeWarned-appen med funktionen Sound Monitor, som gjorde det möjligt att känna igen farliga ljud i realtid. Detta var den första lilla succén. Men det var bara början.
Sedan barndomen gillade jag teknik, jag monterade eller demonterade ofta något, jag ville se vad som skulle komma ut av det
Från hundratals mejl och recensioner stod det klart att döva behöver mer än en app som känner igen farliga ljud. De döva hade tusen olösta frågor som kunde lösas. Baserat på dessa brev och feedback skapades BeWarned-plattformen, som samlade fyra tekniska assistenter för döva: Sound Monitor, Connect, Emergency Call och Dance.
Sound Monitor löser säkerhetsproblemet genom att upptäcka farliga ljud (skrik, bilhorn, hundskall, siren). I händelse av fara varnar applikationen användaren genom att vibrera och blinka med blixten på smartphonen. Connect hjälper döva att kommunicera med andra - det konverterar text till tal och vice versa. Dance låter dig uppleva musikspår genom att omvandla dem till vibrationer, ljussignaler och pulsering av den visuella equalizern. Nödsamtal hjälper användaren att ringa hörande nära och kära för hjälp när han befinner sig i en farlig situation.
Fler videor kan hittas på vår kanal
Sommaren 2016 genomförde vi betatester av plattformen i USA. Som ett resultat rapporterade 88,9 % av användarna att de skulle rekommendera appen till sina vänner.
Det svåraste med att utveckla BeWarned var Sound Monitor, som vi ägnade flera år åt att utveckla. Programmet för att känna igen farliga ljud är baserat på neurala nätverk. Vi provade två typer av neurala nätverk: den klassiska flerskiktsperceptronen och den konvolutionella neuralt nätverk... Men sedan bestämde vi oss för att prova den dolda Markov-modellen, den passade bäst för våra uppgifter.
För att skapa en databas som algoritmen kommer att baseras på har vi själva spelat in många varianter av en typ av farligt ljud, till exempel en bilsignal, på basis av vilken algoritmen kommer att känna igen inkommande ljud och bestämma dem som tillhörande en viss typ. Men under arbetets gång hade vi ett problem att igenkänningsalgoritmen tillskrev alla inkommande ljud endast till de befintliga kategorierna: en bilsignal, ett rop, ljudet av en polissiren och en skällande hund. Till exempel, om någon skrattade, då skulle programmet känna igen det som tillhörande en av dessa kategorier. För att lösa detta problem var vi tvungna att segmentera ljud, till exempel efter frekvenser och andra egenskaper. Som ett resultat var det möjligt att introducera ytterligare en obestämd typ av ljud.
En tid efter lanseringen av BeWarned-plattformen bestämde vi oss för att göra viktiga förändringar för att förbättra användbarheten: vi radikalt förenklade och anpassade allt för dövas uppfattning. Det är därför vi återsläppte apparna individuellt.
I december släpptes BW Dance (Android, iOS), som har förvandlats från en funktion på BeWarned-plattformen till en oberoende applikation. BW Dance låter döva och hörselskadade dansa till sina favoritlåtar. Användaren lägger till sina favoritlåtar i spellistan och applikationen konverterar musiken till vibrationer, blixtar och animationer på skärmen. Användaren kan också känna musiken genom den visuella spelaren. BW Dance mottogs positivt av användare både i Ukraina och utomlands.
Efter det släppte vi Connect by Bewarned (Android, iOS), en applikation som låter döva och hörselskadade kommunicera med hörande. För att börja kommunicera med en eller flera personer i applikationen behöver du bara trycka på START-knappen och låta samtalspartnern tala, varefter applikationen omvandlar talet till ett textmeddelande som en döv person kan läsa. Applikationen konverterar också text till tal, en döv person behöver skriva vad han vill säga. Dessutom har vi tagit fram en uppsättning mallar som simulerar enkla, ofta repetitiva situationer, som att beställa kaffe på ett kafé. Med dessa mallar kan en döv person snabbt kommunicera något till den hörande. Vi har också tillhandahållit möjligheten att skapa ytterligare mallar för varje döv persons personliga syften.
resultat
I Ukraina började journalister aktivt skriva till oss, berättelser om oss filmades av STB, 1 + 1, Channel 5 och andra. Vi såg att människor bryr sig om döva och vi såg till att fokus på enkelhet och användbarhet var ett steg i rätt riktning. Vi insåg att vi var på rätt väg.
Jag och min fru pratar med journalister från Kanal 5
Vi lanserade Connect by Bewarned på Product Hunt den 30 januari och gick in i TOP 5 för dagen, och kom även in på den officiella e-postlistan. I kommentarerna om vår produkt på Product Hunt fick vi erbjudanden för att hjälpa oss att utveckla lokaliseringar på franska och till och med farsi. Tillsammans med de redan befintliga fyra lokaliseringarna - spanska, ryska, ukrainska och engelska, kommer vi att kunna komma närmare vårt globala mål: att göra livet lättare för döva.
Jag är övertygad om att IT-folk bör använda den kompetens de ges till andra människors bästa. Vår lilla men framgångsrika erfarenhet visar att nya applikationer avsevärt kan förändra andra människors liv. Det är därför vi kommer att fortsätta att arbeta med idén som förkroppsligas i Connect by Bewarned: att övervinna barriärerna i kommunikationen för döva och hörande, det finns cirka 400 miljoner av dem i världen.
BeWarned-teamet från vänster till höger: Jag, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, Ira, Anton, Andrey (nu är vi ännu fler än på det här fotot :))
Folk som jag har ofta problem när de behöver kommunicera med en hörande person: en polis, en läkare, en bankman. Vi är juridiskt garanterade lika rättigheter och tillgång till tjänster och tjänster på lika villkor som hörande. Men i verkligheten är vår kapacitet avsevärt begränsad. Det är därför vi beslutade oss för att ta oss an en verkligt global uppgift: att skapa en global elektronisk infrastruktur som kommer att underlätta tillgången för döva till alla tjänster och tjänster som är tillgängliga för hörande: banker, sjukhus, taxibilar, etc. Just nu arbetar vi med just denna uppgift.
Det största problemet med sådana applikationer är att denna nisch är underutvecklad. I min sökning tittade jag på över 30 ansökningar, och nästan alla var designade för en engelsktalande publik eller personer som bor i Europa eller USA. Men de sex ansökningarna som presenteras nedan har blivit ett undantag och jag hoppas att de kommer att vara användbara för någon.
Mirakelläge
Miracle Modus är en app skapad av en autistisk utvecklare. Att döma av hans ord och recensioner i Spela marknaden, appen fungerar faktiskt. Funktionsprincipen är enkel och komplex på samma gång: Miracle Modus ritar olika linjer och mönster och producerar avslappnande ljud som har en lugnande effekt på personer med autism.
Diabetes loggbok
En applikation som hjälper personer med diabetes av första och andra graden. Här kan du lägga in all information om maten som du ätit under dagen. Den fullständiga rapporten kan sedan exporteras till Excel för att visa för din vårdpersonal.
Migrän kompis
Låter migränpatienter analysera sin livsstil och förstå vilka faktorer som leder till huvudvärk. Appen spårar även din sömn så att du kan se sambandet mellan migrän och sömnkvalitet.
Gupp
Bumps hjälper blinda människor att lära sig punktskrift. Appen stöder endast engelsk, därför är det endast lämpligt för dem som vill lära sig att läsa inte bara på ryska. Förutom att lära dig alfabetet låter Bumps dig skriva in olika ord och se dem skriva i punktskrift.
Det finns en liknande applikation för Android - Braile Guide.
Sprid tecken
Spread Signs har ett enormt bibliotek med gester för att hjälpa döva och stumma människor att kommunicera. Ansökningsbasen innehåller mer än ett dussin språk, inklusive ryska, ukrainska och engelska. Du kan lära dig både gester för enskilda bokstäver och hela ord.
Sådan enkla åtgärder som att prata i telefon, gå ner eller till och med räkna ut mjölkens utgångsdatum kan bli svårt för personer med funktionshinder. Vissa av dessa problem kan dock hanteras framgångsrikt med en smartphone.
Vi introducerar ett urval av mobilappar som gör livet enklare för personer med funktionsnedsättning.
Applikationer som känner igen tal
Yandex.Talk
Yandex släppte nyligen en applikation som hjälper döva och hörselskadade att kommunicera med bekanta och främlingar genom att översätta talat tal till text och vice versa.
Applikationen kan lyssna och känna igen tal - allt som sägs till dig visas på smarttelefonens skärm i form av text, såväl som de skrivna orden uttalas högt.
Appen uppfanns och utvecklades av en grupp MIPT-studenter och drivs av Yandex SpeechKit taligenkänningsteknik.
RogerVoice
RogerVoice är en applikation som låter döva prata med sina samtalspartner i telefon. Appen använder taligenkänningsteknik för att konvertera röst till text så att döva kan läsa vad den andra personen säger till dem.
Ansökan dök upp tack vare en framgångsrik Kickstarter-kampanj - En betaversion av applikationen är för närvarande tillgänglig och kan laddas ner från RogerVoices webbplats.
En app som hjälper dig att höra
HearYouNow
Med denna applikation kan hörselskadade användare justera ljudet efter den situation de befinner sig i - på en offentlig plats, i ett möte, etc. För att göra detta är hörlurar anslutna till smarttelefonen, genom vilka ljud levereras med lämpliga inställningar för att optimera bakgrunden eller förgrunden.
Utvecklad av ExSilent, en holländsk hörapparattillverkare, är appen designad för personer som kan använda Hörapparater, men ännu inte redo för det.
Hej!
"Bröd ger näring åt kroppen, och boken ger näring till sinnet" ...
Böcker är en av den moderna människans mest värdefulla skatter. Böcker dök upp i gamla tider och var mycket dyra (en bok kunde bytas ut mot en flock kor!). I den moderna världen är böcker tillgängliga för alla! Genom att läsa dem blir vi mer läskunniga, vår syn och vår uppfinningsrikedom utvecklas. Och generellt sett har vi ännu inte kommit fram till en mer perfekt kunskapskälla för att överföra till varandra!
Med utveckling datateknik(särskilt under de senaste 10 åren) - det har blivit möjligt att inte bara läsa böcker utan också lyssna på dem (det vill säga att du kommer att kunna läsa dem specialprogram, manlig eller kvinnlig röst). Jag skulle vilja berätta om mjukvaruverktyg för röstspel av texten.
Möjliga inspelningsproblem
Innan jag går vidare till listan över program skulle jag vilja uppehålla mig vid ett vanligt problem och överväga fall då programmet inte kan läsa texten.
Poängen är att det finns röstmotorer, de kan ha olika standarder: SAPI 4, SAPI 5 eller Microsoft Speech Platform (i de flesta program för textåtergivning finns ett val av detta verktyg). Så det är logiskt att förutom ett program för röstläsning behövs en motor (det beror på vilket språk du kommer att läsas på, på vilken röst: man eller kvinna, etc.).
Talmotorer
Motorerna kan vara gratis och kommersiella (naturligtvis, bästa kvalitet ljuduppspelning tillhandahålls av kommersiella motorer).
SAPI 4. Föråldrade versioner av verktyg. Det rekommenderas inte att använda föråldrade versioner för moderna datorer. Bättre att ta en närmare titt på SAPI 5 eller Microsoft Speech Platform.
SAPI 5. Moderna talmotorer, det finns både gratis och betalda. Dussintals SAPI 5-talmotorer (med både kvinnliga och manliga röster) finns på internet.
En av de mest bästa programmen för att dubba texten. Låter din dator läsa mer än bara enkla filer i txt-format, men även nyheter, RSS, alla webbsidor på Internet, e-post etc.
Dessutom låter den dig konvertera text till en mp3-fil (som du sedan kan ladda ner till valfri telefon eller mp3-spelare och lyssna på vägen till exempel). De där. du kan skapa ljudböcker själv!
Rösterna i IVONA-programmet är väldigt lika de riktiga, uttalet är inte tillräckligt dåligt, de snubblar inte. För övrigt kan programmet vara användbart för den som studerar främmande språk... Tack vare henne kan du lyssna på det korrekta uttalet av vissa ord, vändningar.
Stöder SAPI5, plus att den samarbetar bra med externa applikationer (till exempel Apple Itunes, Skype).
Exempel (inlägg av en av mina senaste artiklar)
Av minusen: han läser några okända ord med felaktig betoning och intonation. Generellt sett är det inte illa nog att lyssna på till exempel ett stycke ur en historiebok medan man går på en föreläsning/lektion – till och med mer än så!
Balabolka
Ett utmärkt program för att arbeta med böcker: läsa, katalogisera, söka efter önskad, etc. Förutom standarddokument som kan läsas av andra program (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT, FB2-TXT, etc.) ICE Book Reader stöder filformaten .LIT, .CHM och ePub.
Dessutom tillåter ICE Book Reader inte bara läsning, utan också ett utmärkt skrivbordsbibliotek:
- låter dig lagra, bearbeta, katalogisera böcker (upp till 250 000 tusen exemplar!);
- automatisk beställning av din samling;
- en snabb sökning efter en bok från din "dump" (särskilt viktigt om du har mycket icke-katalogiserad litteratur);
- Databasmotorn ICE Book Reader överträffar de flesta program i sitt slag.
Dessutom låter programmet dig läsa texter med en röst.
För att göra detta, gå till programinställningarna och konfigurera två flikar: "Läge" (välj röstläsning) och "Text-till-tal-läge" (välj själva talmotorn).
Talare
Med Sakrament Talker kan du förvandla din dator till en "talande" ljudbok! Sakrament Talker stöder RTF- och TXT-format, kan automatiskt känna igen filkodningen (förmodligen, ibland har du märkt att vissa program öppnar en fil med "crackers" istället för text, men detta är omöjligt i Sakrament Talker!).
Dessutom låter Sakrament Talker dig spela tillräckligt stora filer, snabbt hitta vissa filer. Den röstade texten kan inte bara avlyssnas på en dator, utan även sparas i en mp3-fil (som senare kan kopieras till valfri spelare eller telefon och lyssna på från datorn).
I allmänhet inte riktigt dåligt program som stöder alla populära röstmotorer.
Det är allt för idag. Trots det faktum att dagens program fortfarande inte helt (100% kvalitativt) kan läsa texten så att en person inte kan avgöra vem som läser den: ett program eller en person ... Men jag tror att en dag kommer program att nå detta: datorernas kraft växer, motorer växer i volym (inklusive mer och mer även de mest komplexa talsvängarna) - vilket innebär att snart nog kommer ljudet från programmet att vara omöjligt att skilja från vanligt mänskligt tal ?!
Två kvinnliga studenter från Beijing Beihai University har utvecklat en app för att hjälpa döva i Kina. Applikationen fick namnet Shouyin, vilket bokstavligen betyder "händernas röst". Det låter dig översätta tecken på dövas språk till tal i realtid.
Applikationen fungerar tillsammans med ett smart armband och kan för närvarande känna igen mer än 200 tecken, varje karaktär har spelats in tusen gånger från olika personer för att förbättra översättningens noggrannhet. Nu är erkännandegraden 95%.
Unga Nana Wan, som är en av utvecklarna, sa att hon blev inspirerad av en dövstum vän som hon bara kunde kommunicera med genom meddelanden på mobiltelefon... I Kina är cirka 5 % av befolkningen, eller 70 miljoner människor, döva. Ansökan kommer utan tvekan att bli en stor framgång. Det officiella släppet av applikationen är planerad till slutet av maj. Liknande program finns redan i andra länder i världen. Till exempel Uni från MotionSavvy och översättare för dövstumma från Google Chats.
Tekniken utvecklas idag i snabb takt, även inom det sociala området och inom medicin. De hjälper inte bara att hantera olika typer av åkommor, utan också att bättre förstå din nästa, även om hans uppfattning om världen skiljer sig från din. Att prata med en dövstum person kommer att hjälpa dig särskild ansökan, medan VR-teknik kan hjälpa till att till exempel förstå autism, och därför föra dig närmare dem som lider av denna sjukdom.
Olika studier har visat att över 99% av människorna har hört talas om autism, men endast 16% förstår verkligen vad detta psykiska tillstånd betyder. Och enligt en brittisk undersökning har mer än 25 % av personer med autism någonsin bett att få lämna en offentlig plats som en restaurang eller butik när de sett symptom på sin sjukdom.
För att ta itu med detta desinformationsproblem beslutade British National Autistic Society att skapa VR-film som skulle hjälpa alla människor att veta hur det är att leva med en liknande diagnos. GmbH har skrivit om detta.
Denna virtuella video tar dig in i kroppen på en ung pojke med autism och visar världen genom hans ögon. I filmen går du in i ett köpcentrum och upplever den enorma sensoriska belastningen som han känner när han går genom denna trånga plats. Buller, ett överflöd av olika föremål, blommor, flimrande av människor, deras röster - allt detta får pojken att få panik, vilket är mycket svårt för honom att hantera.
En annan Alzheimer-gemenskap har också släppt en VR-film som sätter dig i någon med demens. Filmen "A Walk Through Dementia" låter dig förstå hur några enkla dagliga aktiviteter, som att göra dig själv en kopp te, kan bli ett verkligt problem för någon med denna sjukdom.