bejáratA kínai diákok létrehoztak egy alkalmazást a siket és néma emberekkel való kommunikációhoz. DOU projektor: BeWarned – Alkalmazások siketeknek és nagyothallóknak Beszédfelismerő gép siketek számára
Ötlet
Hé! A nevem Vitalij, egy startup fejlesztője és társalapítója vagyok BeWarned... Gyerekkorom óta nagyon gyenge a hallásom, a feleségem pedig egyáltalán nem hall, sokáig szerettem volna alkalmazások fejlesztésébe kezdeni, és szoftver siketek és hallássérültek számára. Minden problémájuk ismerős számomra.
Én és a feleségem, Natalia
Korábban Ukrajnában polgári légitársaságok szoftverfejlesztésével foglalkoztam, létrehoztam egy kiterjesztett valóság alkalmazást, a SIMO-t. Mindig is érdekelt minden, ami a technikával kapcsolatos. Néhány éve a Kijevi Politechnikai Intézet egyik tanárán keresztül ismertem meg Szergej Maljukovot, aki jelenleg a vezérigazgatónk, akinél egykor tanultam.
Szergejnek 2013-ban támadt az ötlete, hogy siketek és nagyothallók számára készítsenek alkalmazást. Egyszer az esti órákban az utcán sétált, és egy autó dudálni kezdett a hátában, Szergej gyorsan félreugrott, de a közelben sétáló pár meg sem mozdult. Utánuk kiáltott, hogy menjenek el, de ugyanazon a helyen maradtak, ahol álltak. Szergej hamarosan rájött, hogy egy süketpárról van szó, jelnyelven kommunikáltak egymással. Szergej meg volt győződve arról, hogy vannak olyan alkalmazások, amelyek segítenek felismerni a veszélyes hangokat. Miután megvizsgálta a siketeknek szánt meglévő alkalmazásokat és kütyüket, és nem talált egyetlen olyan megoldást sem, amely segítene felismerni a veszélyes hangokat, egy ilyen alkalmazás elkészítéséhez fogott. A munka során több partner is csatlakozott hozzá, és most a BeWarned önerőt fektet be a startup alapítói.
Amint hallottam a projektről és láttam a fejleményeket, azonnal magával ragadott az ötlet, és hamarosan társalapító lettem. Tovább Ebben a pillanatban Egy startup technikai fejlesztésével foglalkozom.
Végrehajtás
2014-ben jelent meg a BeWarned alkalmazás első prototípusa Sound Monitor funkcióval, amely lehetővé tette a veszélyes hangok valós idejű felismerését. Ez volt az első kisebb siker. De ez csak a kezdet volt.
Gyerekkorom óta szerettem a technikát, gyakran össze- vagy szétszedtem valamit, látni akartam, mi sül ki belőle
Több száz e-mailből és véleményből kiderült, hogy a siketeknek többre van szükségük, mint egy alkalmazásra, amely felismeri a veszélyes hangokat. A süketeknek ezer megválaszolatlan kérdése volt, amit meg lehetett oldani. Ezen levelek és visszajelzések alapján jött létre a BeWarned platform, amely 4 siketek technikai asszisztensét tömörítette: Sound Monitor, Connect, Emergency Call és Dance.
A Sound Monitor veszélyes hangok (sikítás, autókürt, kutyaugatás, sziréna) érzékelésével oldja meg a biztonsági problémát. Veszély esetén az alkalmazás rezgéssel és az okostelefon vakujának villogásával figyelmezteti a felhasználót. A Connect segít a siketeknek a másokkal való kommunikációban – a szöveget beszéddé alakítja és fordítva. A Dance lehetővé teszi a zeneszámok megtapasztalását azáltal, hogy rezgéssé, fényjelekké és a vizuális hangszínszabályzó pulzációjává alakítja azokat. A segélyhívás segít a felhasználónak, hogy halló szeretteit hívja segítségül, ha veszélyes helyzetben van.
További videók találhatók csatornánkon
2016 nyarán elvégeztük a platform béta tesztelését az Egyesült Államokban. Ennek eredményeként a felhasználók 88,9%-a számolt be arról, hogy ajánlaná az alkalmazást ismerőseinek.
A BeWarned fejlesztésének legnehezebb része a Sound Monitor volt, amelynek fejlesztésével több évet töltöttünk. A veszélyes hangok felismerésére szolgáló program neurális hálózatokon alapul. Kétféle neurális hálózatot próbáltunk ki: a klasszikus többrétegű perceptront és a konvolúciós hálózatot neurális hálózat... De aztán úgy döntöttünk, hogy kipróbáljuk a rejtett Markov modellt, ez volt a legmegfelelőbb a feladatainknak.
Az algoritmus alapjául szolgáló adatbázis létrehozása érdekében magunk rögzítettük egy-egy veszélyes hang típusának számos változatát, például egy autójelzést, amelyek alapján az algoritmus felismeri a bejövő hangokat és meghatározza azokat egy bizonyos típus. A munka során azonban olyan problémánk volt, hogy a felismerő algoritmus minden bejövő hangot csak a meglévő kategóriáknak tulajdonított: autójelzés, kiáltás, rendőrsziréna hangja és ugató kutya. Például, ha valaki nevet, akkor a program felismeri, hogy e kategóriák valamelyikébe tartozik. A probléma megoldásához szegmentálnunk kellett a hangokat például frekvenciák és egyéb jellemzők szerint. Ennek eredményeként lehetőség nyílt egy további határozatlan típusú hangzás bevezetésére.
Nem sokkal a BeWarned platform megjelenése után fontos változtatások mellett döntöttünk a használhatóság javítása érdekében: radikálisan leegyszerűsítettünk és a siketek érzékelésére igazítottunk mindent. Ezért adtuk ki újra az alkalmazásokat egyenként.
Decemberben jelent meg a BW Dance (Android, iOS), amely a BeWarned platform funkciójából önálló alkalmazássá vált. A BW Dance lehetővé teszi a siketek és nagyothallók számára, hogy kedvenc dalaikra táncoljanak. A felhasználó hozzáadja kedvenc dalait a lejátszási listához, és az alkalmazás a zenét rezgéssé, villogássá és animációvá alakítja a képernyőn. A felhasználó a vizuális lejátszón keresztül is érezheti a zenét. A BW Dance-t Ukrajnában és külföldön egyaránt pozitívan fogadták a felhasználók.
Ezt követően kiadtuk a Connect by Bewarned (Android, iOS) alkalmazást, amely lehetővé teszi a siketek és nagyothallók számára, hogy kommunikáljanak hallókkal. Az alkalmazásban lévő egy vagy több személlyel való kommunikáció megkezdéséhez csak meg kell nyomnia a START gombot, és hagynia kell a beszélgetőpartnert, hogy megszólaljon, majd az alkalmazás a beszédet szöveges üzenetté alakítja, amelyet egy siket személy is el tud olvasni. Az alkalmazás szöveget is beszéddé alakít, a siketnek meg kell írnia, amit mondani akar. Emellett kifejlesztettünk egy olyan sablonkészletet is, amely szimulálja az egyszerű, gyakran ismétlődő helyzeteket, például a kávézóban történő kávérendelést. Ezekkel a sablonokkal a siket gyorsan közölhet valamit a hallóval. Lehetőséget biztosítunk további sablonok létrehozására minden siket személy személyes céljaira.
eredmények
Ukrajnában az újságírók elkezdtek aktívan írni nekünk, a rólunk szóló történeteket az STB, az 1 + 1, a Channel 5 és mások forgatták. Láttuk, hogy az emberek törődnek a sikekkel, és meggyőződtünk arról, hogy az egyszerűségre és a használhatóságra való összpontosítás a helyes irányba tett lépés. Rájöttünk, hogy jó úton haladunk.
A feleségemmel beszélgetünk az 5-ös csatorna újságíróival
A Connect by Bewarned január 30-án, a Product Hunt-on indítottuk útjára, és bekerültünk a nap TOP 5-ébe, valamint felkerültünk a hivatalos levelezőlistára is. A Termékvadászatban a termékünkhöz fűzött megjegyzésekben ajánlatokat kaptunk, hogy segítsenek a francia, sőt perzsa nyelvű lokalizáció fejlesztésében. A már meglévő négy – spanyol, orosz, ukrán és angol – lokalizációval együtt közelebb kerülhetünk globális célunkhoz: a siketek életét megkönnyíteni.
Meggyőződésem, hogy az informatikusoknak a nekik adott készségeket mások javára kell használniuk. Kicsi, de sikeres tapasztalatunk azt mutatja, hogy az új alkalmazások jelentősen megváltoztathatják mások életét. Éppen ezért folytatjuk a munkát a Connect by Bewarned-ben megtestesülő gondolaton: a siketek és hallók kommunikációjának akadályait leküzdve mintegy 400 millióan vannak a világon.
A BeWarned csapat balról jobbra: Én, Jevgenyij, Jevgenyija, Ivan, Julia, Szergej, Andrej, Ilona, Ira, Anton, Andrej (most még többen vagyunk, mint ezen a képen :))
A hozzám hasonló embereknek gyakran vannak problémái, amikor halló személlyel kell kommunikálniuk: rendőrrel, orvossal, bankárral. Törvényileg garantálják a hallókkal egyenlő jogokat, valamint a szolgáltatásokhoz és szolgáltatásokhoz való egyenlő hozzáférést. A valóságban azonban a képességeink jelentősen korlátozottak. Ezért döntöttünk úgy, hogy egy valóban globális feladattal foglalkozunk: egy globális elektronikus infrastruktúrát hozunk létre, amely megkönnyíti a siket emberek hozzáférését minden olyan szolgáltatáshoz és szolgáltatáshoz, amely a hallók számára elérhető: bankok, kórházak, taxik stb. Jelenleg pontosan ezen a feladaton dolgozunk.
Az ilyen alkalmazások fő problémája az, hogy ez a rés fejletlen. Keresésem során több mint 30 pályázatot néztem meg, és szinte mindegyiket angolul beszélő közönségnek, illetve Európában vagy az Egyesült Államokban élőknek szántam. Az alábbiakban bemutatott hat alkalmazás azonban kivételt képez, és remélem, hasznos lesz valakinek.
Miracle modus
A Miracle Modus egy autista fejlesztő által létrehozott alkalmazás. Szavaiból és kritikáiból ítélve Play Market, az alkalmazás valóban működik. A működés elve egyszerre egyszerű és összetett: a Miracle Modus különféle vonalakat és mintákat rajzol, és pihentető hangokat ad ki, amelyek megnyugtatóan hatnak az autista emberekre.
Diabétesz napló
Egy alkalmazás, amely segít az első és másodfokú cukorbetegségben szenvedőknek. Itt megadhatja az összes információt a nap folyamán elfogyasztott ételekről. A teljes jelentés ezután exportálható Excelbe, hogy megmutassa az egészségügyi szakembernek.
Migrénes haver
Lehetővé teszi a migrénben szenvedők számára, hogy elemezzék életmódjukat, és megértsék, milyen tényezők vezetnek fejfájáshoz. Az alkalmazás nyomon követi az alvást is, így láthatja a migrén és az alvásminőség közötti összefüggést.
Dudorok
A Bumps segít a vakoknak megtanulni a Braille-írást. Az alkalmazás csak támogatja angol, ezért csak azok számára alkalmas, akik nem csak oroszul szeretnének olvasni. Az ábécé megtanulása mellett a Bumps segítségével különféle szavakat írhat be, és nézheti, ahogy Braille-írással írják őket.
Van egy hasonló alkalmazás az Androidra - Braile Guide.
Spread Signs
A Spread Signs gesztusok hatalmas könyvtárával segíti a siket és néma emberek kommunikációját. Az alkalmazásbázis több mint egy tucat nyelvet tartalmaz, köztük oroszt, ukránt és angolt. Megtanulhatja az egyes betűk és a teljes szavak gesztusait.
Ilyen egyszerű műveletek A fogyatékkal élők számára nehézségekbe ütközhet a telefonálás, a földszintre járás, vagy akár a tej lejárati dátumának megállapítása. Néhány ilyen probléma azonban sikeresen megoldható okostelefon használatával.
Válogatott mobilalkalmazások bemutatása, amelyek megkönnyítik a fogyatékkal élők életét.
Beszédet felismerő alkalmazások
Yandex.Talk
A Yandex nemrégiben adott ki egy alkalmazást, amely segíti a siket és nagyothalló embereket az ismerősökkel és idegenekkel való kommunikációban azáltal, hogy a beszédet szöveggé fordítja és fordítva.
Az alkalmazás képes hallgatni és felismerni a beszédet - minden, amit elmondanak, megjelenik az okostelefon képernyőjén szöveg formájában, valamint hangosan kiejti a begépelt szavakat.
Az alkalmazást MIPT-hallgatók egy csoportja találta ki és fejlesztette ki, és a Yandex SpeechKit beszédfelismerő technológia hajtja.
RogerVoice
A RogerVoice egy olyan alkalmazás, amely lehetővé teszi a siketek számára, hogy telefonon beszéljenek beszélgetőpartnereikkel. Az alkalmazás beszédfelismerő technológia segítségével alakítja át a hangot szöveggé, így a siketek el tudják olvasni, amit a másik személy mond nekik.
Az alkalmazás megjelent köszönhetően sikeres Kickstarter kampány - Az alkalmazás béta verziója jelenleg elérhető, és letölthető a RogerVoice webhelyéről.
Egy alkalmazás, amely segít hallani
HearYouNow
Ezzel az alkalmazással a hallássérült felhasználók a helyzetnek megfelelően állíthatják be a hangot – nyilvános helyen, értekezleten stb. Ehhez fejhallgató csatlakozik az okostelefonhoz, amelyen keresztül a hangot megfelelő beállításokkal látják el a háttér vagy az előtér optimalizálása érdekében.
Az ExSilent, egy holland hallókészülék-gyártó által kifejlesztett alkalmazást olyan emberek számára fejlesztették ki, akik Hallókészülék, de még nem áll készen rá.
Helló!
"A kenyér táplálja a testet, a könyv pedig az elmét"...
A könyvek a modern ember egyik legértékesebb kincse. A könyvek az ókorban jelentek meg, és nagyon drágák voltak (egy könyvet fel lehetett cserélni egy tehéncsordára!). A modern világban a könyvek mindenki számára elérhetőek! Ezeket olvasva írástudóbbá válunk, fejlődik szemléletünk, találékonyságunk. És általában, még nem találtunk tökéletesebb tudásforrást az egymásnak való átadáshoz!
Fejlődéssel számítógépes technológia(főleg az elmúlt 10 évben) - lehetővé vált nemcsak olvasni, hanem hallgatni is (vagyis elolvasni speciális program, férfi vagy női hang). Szeretnék mesélni róla szoftver eszközök a szöveg hangjátékához.
Lehetséges rögzítési problémák
Mielőtt rátérnék a programok listájára, szeretnék elidőzni egy gyakori problémán, és figyelembe venni azokat az eseteket, amikor a program nem tudja elolvasni a szöveget.
A lényeg, hogy van hangmotorok, különböző szabványúak lehetnek: SAPI 4, SAPI 5 vagy Microsoft Speech Platform (a legtöbb szövegreprodukciós programban választható ez az eszköz). Tehát logikus, hogy a hangos olvasási program mellett szükség van egy motorra is (attól függ, hogy milyen nyelven olvasnak, milyen hangon: férfi vagy nő stb.).
Beszédmotorok
A motorok lehetnek ingyenesek és kereskedelmi (természetesen, legjobb minőség a hanglejátszást kereskedelmi motorok biztosítják).
SAPI 4. Eszközök elavult verziói. Nem ajánlott elavult verziókat használni a modern számítógépekhez. Jobb, ha közelebbről megvizsgálja a SAPI 5-öt vagy a Microsoft Speech Platformot.
SAPI 5. Modern beszédmotorok, vannak ingyenesek és fizetősek is. Több tucat SAPI 5 beszédmotor (női és férfi hanggal is) található az interneten.
Az egyik legtöbb legjobb programok a szöveg szinkronizálására. Lehetővé teszi, hogy számítógépe többet olvasson, mint egyszerűen egyszerű fájlok txt formátumban, de akár híreket, RSS-t, bármilyen internetes oldalt, email stb.
Ezenkívül lehetővé teszi a szöveg mp3-fájllá alakítását (amit aztán letölthet bármelyik telefonra vagy mp3-lejátszóra, és például útközben is meghallgathatja). Azok. hangoskönyveket készíthet egyedül!
Az IVONA program hangjai nagyon hasonlítanak a valódiakhoz, a kiejtés nem elég rossz, nem akadozik. A program egyébként hasznos lehet azoknak, akik tanulnak idegen nyelv... Neki köszönhetően meghallgathatja bizonyos szavak helyes kiejtését, fordulatait.
Támogatja a SAPI5-öt, valamint jól együttműködik külső alkalmazásokkal (például Apple Itunes, Skype).
Példa (egyik legutóbbi cikkem bejegyzése)
A mínuszok közül: néhány ismeretlen szót hibás hangsúllyal és hanglejtéssel olvas. Általánosságban elmondható, hogy nem rossz meghallgatni például egy történelemkönyv egy bekezdését, miközben előadásra/órára mész – még ennél is többet!
Balabolka
Kiváló program könyvekkel való munkához: olvasás, katalogizálás, kívánt keresés stb. A szabványos dokumentumokon kívül, amelyek más programokkal is olvashatók (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT , FB2-TXT stb.) Az ICE Book Reader támogatja a .LIT, .CHM és ePub fájlformátumokat.
Ezenkívül az ICE Book Reader nemcsak olvasást tesz lehetővé, hanem kiváló asztali könyvtárat is:
- lehetővé teszi könyvek tárolását, feldolgozását, katalógusát (akár 250 000 ezer példányban!);
- a gyűjtemény automatikus rendelése;
- gyors keresés egy könyvre a "lerakóhelyről" (különösen fontos, ha sok nem katalogizált irodalmad van);
- Az ICE Book Reader adatbázismotor jobban teljesít, mint a legtöbb ilyen jellegű program.
Ezenkívül a program lehetővé teszi szövegek hanggal történő olvasását.
Ehhez lépjen a programbeállításokhoz, és konfiguráljon két lapot: "Mód" (válassza ki a hangolvasást) és "Szövegfelolvasó mód" (válassza ki magát a beszédmotort).
Beszélő
A Sakrament Talker segítségével számítógépét „beszélő” hangoskönyvvé varázsolhatja! A Sakrament Talker támogatja az RTF és TXT formátumokat, automatikusan felismeri a fájl kódolását (valószínűleg néha észrevette, hogy egyes programok szöveg helyett „crackerekkel” nyitnak meg fájlt, de ez a Sakrament Talkerben lehetetlen!).
Ezenkívül a Sakrament Talker lehetővé teszi, hogy eleget játssz nagy fájlokat, gyorsan megtalálhat bizonyos fájlokat. A hangos szöveg nem csak számítógépen hallgatható meg, hanem mp3 fájlba is menthető (ami később bármelyik lejátszóra vagy telefonra másolható, és a számítógéptől távol is meghallgatható).
Általában nem egészen rossz program amely támogatja az összes népszerű hangmotort.
Ez minden mára. Annak ellenére, hogy a mai programok még mindig nem tudják teljesen (100%-osan minőségileg) elolvasni a szöveget úgy, hogy az ember ne tudja megállapítani, hogy ki olvassa: program vagy személy... De azt gondolom, hogy egyszer a programok elérik ezt: a számítógépek hatalmát. nőnek, a motorok hangereje nő (beleértve a beszéd legösszetettebb fordulatait is) - ami azt jelenti, hogy hamarosan a programból származó hang megkülönböztethetetlen lesz a hétköznapi emberi beszédtől ?!
A Pekingi Beihai Egyetem két diáklánya kifejlesztett egy alkalmazást a siket emberek megsegítésére Kínában. Az alkalmazás a Shouyin nevet kapta, ami szó szerint „a kezek hangját” jelenti. Lehetővé teszi, hogy a siketek nyelvének jeleit valós időben lefordítsa beszédre.
Az alkalmazás egy intelligens karkötővel együtt működik, és jelenleg több mint 200 karaktert tud felismerni, minden karaktert ezerszer rögzítettek különböző személyektől, hogy javítsák a fordítás pontosságát. Most az elismerési arány 95%.
A fiatal Nana Wan, aki az egyik fejlesztő, azt mondta, hogy egy süketnéma barátja inspirálta, akivel csak üzeneteken keresztül tudott kommunikálni. mobiltelefon... Kínában a lakosság körülbelül 5%-a, vagyis 70 millió ember süket. A pályázat kétségtelenül nagy siker lesz. Az alkalmazás hivatalos megjelenése május végére várható. Hasonló programok már léteznek a világ más országaiban. Például Uni a MotionSavvy-tól és fordító siketnémák számára a Google Chats-től.
A technológiák manapság gyors ütemben fejlődnek, beleértve a szociális szférát és az orvostudományt is. Nemcsak a különféle betegségekkel való megbirkózásban segítenek, hanem abban is, hogy jobban megértsd felebarátodat, még akkor is, ha a világról alkotott felfogása eltér a tiédtől. A siketnéma emberrel való beszélgetés segít speciális alkalmazás, míg a VR technológia segíthet például az autizmus megértésében, és ezáltal közelebb visz az e betegségben szenvedőkhöz.
Különféle tanulmányok kimutatták, hogy az emberek több mint 99%-a hallott már az autizmusról, de csak 16%-uk érti igazán, mit jelent ez a mentális állapot. Egy brit felmérés szerint pedig az autista emberek több mint 25%-a kérte már, hogy távozzon egy nyilvános helyről, például egy étteremből vagy boltból, amikor betegsége tüneteit észlelte.
A dezinformációs probléma megoldására a Brit Nemzeti Autista Társaság úgy döntött, hogy létrehozza VR film ez segít minden embernek tudni, milyen hasonló diagnózis mellett élni. A GmbH írt erről.
Ez a virtuális videó egy fiatal autista fiú testébe vezet, és az ő szemén keresztül mutatja be a világot. A filmben besétálsz egy bevásárlóközpontba, és megtapasztalod azt a hatalmas érzékszervi terhelést, amelyet akkor érez, amikor átmegy ezen a zsúfolt helyen. Zaj, rengeteg különféle tárgy, virág, emberek villogása, hangjuk - mindez pánikba ejti a fiút, amivel nagyon nehéz megbirkózni.
Egy másik Alzheimer-közösség is kiadott egy VR-filmet, amely egy demenciában szenvedő ember helyébe helyez. A „Séta a demencián keresztül” című film lehetővé teszi, hogy megértse, hogy néhány egyszerű napi tevékenység, mint például egy csésze tea elkészítése, hogyan válhat valódi problémává a betegségben szenvedők számára.