wejścieChińscy studenci stworzyli aplikację do komunikacji z osobami niesłyszącymi i niemymi. Projektor DOU: Uwaga – aplikacje dla osób niesłyszących i niedosłyszących Maszyna do rozpoznawania mowy dla osób niesłyszących
Pomysł
Hej! Nazywam się Witalij, jestem programistą i współzałożycielem startupu Być ostrzeżonym... Od dzieciństwa mam bardzo słaby słuch, a moja żona w ogóle nie słyszy, od dawna chciałem zacząć tworzyć aplikacje i oprogramowanie dla osób niesłyszących i niedosłyszących. Wszystkie problemy, z którymi się borykają, są mi znane.
Ja i moja żona Natalia
Wcześniej zajmowałem się tworzeniem oprogramowania dla cywilnych linii lotniczych na Ukrainie, stworzyłem aplikację rozszerzonej rzeczywistości SIMO. Od zawsze interesowało mnie wszystko, co dotyczy technologii. Kilka lat temu poznałem Siergieja Maljukowa, obecnie naszego dyrektora generalnego, poprzez nauczyciela na Kijowskim Instytucie Politechnicznym, z którym kiedyś studiowałem.
Pomysł stworzenia aplikacji dla osób niesłyszących i słabosłyszących przyszedł do Siergieja w 2013 roku. Kiedy wieczorem szedł ulicą, a samochód zaczął trąbić w jego plecy, Siergiej szybko odskoczył na bok, ale idąca w pobliżu para nie drgnęła. Krzyknął za nimi, żeby się oddalili, ale pozostali w tym samym miejscu, w którym stali. Wkrótce Siergiej zdał sobie sprawę, że to para głuchych, komunikowali się ze sobą w języku migowym. Siergiej był przekonany, że istnieją aplikacje, które pomogą mu rozpoznać niebezpieczne dźwięki. Po przeanalizowaniu istniejących aplikacji i gadżetów dla osób niesłyszących i nie znalezieniu ani jednego rozwiązania, które pomaga rozpoznać niebezpieczne dźwięki, postanowił stworzyć taką aplikację. W trakcie pracy dołączyło do niego kilku wspólników i teraz BeWarned inwestuje samodzielnie przez założycieli startupu.
Gdy tylko usłyszałem o projekcie i zobaczyłem rozwój, od razu dałem się ponieść pomysłowi i wkrótce zostałem współzałożycielem. Na ten moment Zajmuję się rozwojem technicznym startupu.
Realizacja
W 2014 roku został wydany pierwszy prototyp aplikacji BeWarned z funkcją Sound Monitor, która umożliwiała rozpoznawanie niebezpiecznych dźwięków w czasie rzeczywistym. To był pierwszy mały sukces. Ale to był dopiero początek.
Od dzieciństwa lubiłem technologię, często coś montowałem lub demontowałem, chciałem zobaczyć, co z tego wyjdzie
Z setek e-maili i recenzji wynikało, że osoby niesłyszące potrzebują czegoś więcej niż aplikacji, która rozpoznaje niebezpieczne dźwięki. Głusi mieli tysiące nierozwiązanych pytań, które można było rozwiązać. Na podstawie tych listów i opinii powstała platforma BeWarned, która zgromadziła 4 asystentów technicznych dla niesłyszących: Monitor dźwięku, Connect, Emergency Call i Dance.
Sound Monitor rozwiązuje problem bezpieczeństwa, wykrywając niebezpieczne dźwięki (krzyki, klakson, szczekanie psa, syrena). W przypadku niebezpieczeństwa aplikacja ostrzega użytkownika wibracjami i miganiem lampy błyskowej na smartfonie. Connect pomaga niesłyszącym w komunikowaniu się z innymi – konwertuje tekst na mowę i odwrotnie. Taniec pozwala doświadczać utworów muzycznych, przekształcając je w wibracje, sygnały świetlne i pulsacje korektora wizualnego. Połączenie alarmowe pomaga użytkownikowi wezwać słyszące bliskich o pomoc, gdy znajduje się w niebezpiecznej sytuacji.
Więcej filmów można znaleźć na naszym kanale
Latem 2016 roku przeprowadziliśmy beta testy platformy w Stanach Zjednoczonych. W rezultacie 88,9% użytkowników zgłosiło, że poleciłoby aplikację swoim znajomym.
Najtrudniejszą częścią rozwoju BeWarned był Sound Monitor, nad którym pracowaliśmy kilka lat. Program do rozpoznawania niebezpiecznych dźwięków oparty jest na sieciach neuronowych. Wypróbowaliśmy dwa rodzaje sieci neuronowych: klasyczny perceptron wielowarstwowy i splotowy sieć neuronowa... Ale potem zdecydowaliśmy się wypróbować ukryty model Markowa, najlepiej pasował do naszych zadań.
W celu stworzenia bazy danych, na której będzie oparty algorytm, sami zarejestrowaliśmy wiele wariantów jednego rodzaju niebezpiecznego dźwięku, np. sygnału samochodowego, na podstawie którego algorytm będzie rozpoznawał dochodzące dźwięki i określał je jako należące do pewien typ. W trakcie prac mieliśmy jednak problem, że algorytm rozpoznawania przypisywał wszystkie przychodzące dźwięki tylko istniejącym kategoriom: sygnał samochodowy, krzyk, dźwięk syreny policyjnej i szczekanie psa. Przykładowo, gdyby ktoś się śmiał, wówczas program rozpoznałby go jako należący do jednej z tych kategorii. Aby rozwiązać ten problem, musieliśmy podzielić dźwięki, na przykład, według częstotliwości i innych cech. W efekcie udało się wprowadzić dodatkowy, nieokreślony rodzaj dźwięku.
Jakiś czas po premierze platformy BeWarned postanowiliśmy wprowadzić ważne zmiany w celu poprawy użyteczności: radykalnie uprościliśmy i dostosowaliśmy wszystko do percepcji osób niesłyszących. Dlatego ponownie wydaliśmy aplikacje indywidualnie.
W grudniu ukazała się wersja BW Dance (Android, iOS), która z funkcji platformy BeWarned stała się samodzielną aplikacją. BW Dance pozwala głuchym i słabosłyszącym tańczyć do ich ulubionych piosenek. Użytkownik dodaje swoje ulubione utwory do playlisty, a aplikacja konwertuje muzykę na wibracje, błyski i animacje na ekranie. Użytkownik może również poczuć muzykę poprzez odtwarzacz wizualny. BW Dance został pozytywnie przyjęty przez użytkowników zarówno na Ukrainie, jak i za granicą.
Następnie wydaliśmy Connect by Bewarned (Android, iOS), aplikację, która umożliwia osobom niesłyszącym i niedosłyszącym komunikowanie się z osobami słyszącymi. Aby rozpocząć komunikację z jedną lub kilkoma osobami w aplikacji wystarczy nacisnąć przycisk START i pozwolić mówić rozmówcy, po czym aplikacja zamienia mowę na wiadomość tekstową, którą może przeczytać osoba niesłysząca. Aplikacja konwertuje również tekst na mowę, osoba niesłysząca musi napisać to, co chce powiedzieć. Ponadto opracowaliśmy zestaw szablonów, które symulują proste, często powtarzalne sytuacje, takie jak zamawianie kawy w kawiarni. Dzięki tym szablonom osoba niesłysząca może szybko przekazać coś osobie słyszącej. Udostępniliśmy również możliwość tworzenia dodatkowych szablonów na potrzeby osobiste każdej osoby niesłyszącej.
wyniki
Na Ukrainie dziennikarze zaczęli do nas aktywnie pisać, historie o nas kręcili STB, 1 + 1, Channel 5 i inne. Widzieliśmy, że ludziom zależy na osobach niesłyszących i zadbaliśmy o to, aby skupienie się na prostocie i użyteczności było krokiem we właściwym kierunku. Zdaliśmy sobie sprawę, że jesteśmy na dobrej drodze.
Rozmawiamy z żoną z dziennikarzami z Channel 5
30 stycznia uruchomiliśmy Connect by Bewarned na Product Hunt i weszliśmy do TOP 5 dnia, a także trafiliśmy na oficjalną listę mailingową. W komentarzach na temat naszego produktu na Product Hunt otrzymaliśmy oferty pomocy w rozwoju lokalizacji w języku francuskim, a nawet farsi. Wraz z już istniejącymi czterema lokalizacjami - hiszpańską, rosyjską, ukraińską i angielską, będziemy mogli zbliżyć się do naszego globalnego celu: ułatwienia życia osobom niesłyszącym.
Jestem przekonany, że informatycy powinni wykorzystywać zdobyte umiejętności z korzyścią dla innych. Nasze małe, ale udane doświadczenie pokazuje, że nowe aplikacje mogą znacząco zmienić życie innych ludzi. Dlatego nadal będziemy pracować nad ideą ucieleśnioną w Connect by Bewarned: pokonanie barier w komunikacji osób niesłyszących i słyszących, na świecie jest ich około 400 milionów.
Zespół BeWarned od lewej do prawej: Ja, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, Ira, Anton, Andrey (teraz jest nas jeszcze więcej niż na tym zdjęciu :))
Ludzie tacy jak ja często mają problemy, gdy muszą porozumieć się z osobą przesłuchującą: policjantem, lekarzem, bankierem. Mamy zagwarantowane prawnie równe prawa i dostęp do usług i usług na równych zasadach z osobami słyszącymi. Ale w rzeczywistości nasze możliwości są znacznie ograniczone. Dlatego zdecydowaliśmy się podjąć naprawdę globalne zadanie: stworzenie globalnej infrastruktury elektronicznej, która ułatwi osobom niesłyszącym dostęp do wszystkich usług i usług dostępnych dla osób słyszących: banków, szpitali, taksówek itp. W tej chwili pracujemy właśnie nad tym zadaniem.
Głównym problemem z takimi aplikacjami jest to, że ta nisza jest słabo rozwinięta. W swoich poszukiwaniach przejrzałem ponad 30 aplikacji i prawie wszystkie z nich były przeznaczone dla odbiorców anglojęzycznych lub osób mieszkających w Europie lub Stanach Zjednoczonych. Jednak sześć przedstawionych poniżej aplikacji stało się wyjątkiem i mam nadzieję, że komuś się przyda.
Cud modus
Miracle Modus to aplikacja stworzona przez autystycznego programistę. Sądząc po jego słowach i recenzjach w Rynek Play, aplikacja faktycznie działa. Zasada działania jest prosta i złożona jednocześnie: Miracle Modus kreśli różne linie i wzory oraz wydaje relaksujące dźwięki, które działają uspokajająco na osoby z autyzmem.
Dziennik Cukrzycy
Aplikacja pomagająca osobom z cukrzycą pierwszego i drugiego stopnia. Tutaj możesz wprowadzić wszystkie informacje o jedzeniu, które zjadłeś w ciągu dnia. Kompletny raport można następnie wyeksportować do programu Excel i pokazać pracownikowi służby zdrowia.
kumpel na migrenę
Pozwala osobom cierpiącym na migrenę przeanalizować ich styl życia i zrozumieć, jakie czynniki prowadzą do bólów głowy. Aplikacja śledzi również Twój sen, dzięki czemu możesz zobaczyć korelację między migrenami a jakością snu.
Uderzenia
Bumps pomaga niewidomym uczyć się alfabetu Braille'a. Aplikacja obsługuje tylko język angielski, dlatego nadaje się tylko dla tych, którzy chcą nauczyć się czytać nie tylko po rosyjsku. Oprócz nauki alfabetu, Bumps umożliwia wprowadzanie różnych słów i obserwowanie ich pisania w alfabecie Braille'a.
Istnieje podobna aplikacja na Androida - Braile Guide.
Rozpowszechnianie znaków
Spread Signs ma ogromną bibliotekę gestów, które pomagają osobom niesłyszącym i niemym w komunikacji. Baza aplikacji obejmuje kilkanaście języków, w tym rosyjski, ukraiński i angielski. Możesz nauczyć się zarówno gestów dla pojedynczych liter, jak i całych słów.
Taki proste czynności jak rozmowa przez telefon, schodzenie na dół, a nawet ustalanie daty ważności mleka może być trudne dla osób niepełnosprawnych. Jednak niektóre z tych problemów można z powodzeniem rozwiązać za pomocą smartfona.
Przedstawiamy wybór aplikacji mobilnych, które ułatwiają życie osobom niepełnosprawnym.
Aplikacje rozpoznające mowę
Yandex. Dyskusja
Yandex wydał niedawno aplikację, która pomaga osobom niesłyszącym i słabosłyszącym komunikować się ze znajomymi i nieznajomymi, tłumacząc mowę mówioną na tekst i odwrotnie.
Aplikacja potrafi słuchać i rozpoznawać mowę - wszystko, co do Ciebie mówimy, jest wyświetlane na ekranie smartfona w formie tekstu, a także wypowiadane na głos słowa.
Aplikacja została wymyślona i opracowana przez grupę studentów MIPT i jest oparta na technologii rozpoznawania mowy Yandex SpeechKit.
RogerGłos
RogerVoice to aplikacja, która pozwala osobom niesłyszącym rozmawiać ze swoimi rozmówcami przez telefon. Aplikacja wykorzystuje technologię rozpoznawania mowy do konwersji głosu na tekst, dzięki czemu osoby niesłyszące mogą czytać to, co mówi im druga osoba.
Aplikacja pojawiła się dzięki udana kampania na Kickstarterze - Wersja beta aplikacji jest obecnie dostępna i można ją pobrać ze strony internetowej RogerVoice.
Aplikacja, która pomaga słyszeć
Usłyszcie teraz
Dzięki tej aplikacji użytkownicy niedosłyszący mogą dostosować dźwięk do sytuacji, w której się znajdą - w miejscu publicznym, na spotkaniu itp. W tym celu do smartfona podłączane są słuchawki, dzięki którym dźwięk dostarczany jest z odpowiednimi ustawieniami optymalizującymi tło lub pierwszy plan.
Aplikacja opracowana przez ExSilent, holenderskiego producenta aparatów słuchowych, jest przeznaczona dla osób, które potrafią używać Aparaty słuchowe, ale jeszcze nie jest na to gotowy.
Cześć!
„Chleb odżywia ciało, a książka odżywia umysł”…
Książki to jeden z najcenniejszych skarbów współczesnego człowieka. Książki pojawiły się w starożytności i były bardzo drogie (jedna książka można było wymienić na stado krów!). We współczesnym świecie książki są dostępne dla każdego! Czytając je, stajemy się bardziej piśmienni, rozwija się nasz pogląd i pomysłowość. Ogólnie rzecz biorąc, nie wymyśliliśmy jeszcze doskonalszego źródła wiedzy do przekazywania sobie nawzajem!
Z rozwojem technologia komputerowa(zwłaszcza w ciągu ostatnich 10 lat) - stało się możliwe nie tylko czytanie książek, ale także ich słuchanie (czyli będziesz mógł je czytać program specjalny, głos męski lub żeński). chciałbym Ci powiedzieć o narzędzia programowe do głosowej gry tekstu.
Możliwe problemy z nagrywaniem
Zanim przejdę do listy programów, chciałbym poruszyć wspólny problem i rozważyć przypadki, w których program nie może odczytać tekstu.
Chodzi o to, że jest silniki głosowe, mogą mieć różne standardy: SAPI 4, SAPI 5 lub Microsoft Speech Platform (w większości programów do odtwarzania tekstu istnieje możliwość wyboru tego narzędzia). Logiczne jest więc, że oprócz programu do czytania głosowego potrzebny jest silnik (będzie to zależało od tego, w jakim języku będziesz czytał, w jakim głosie: męski czy żeński itp.).
Silniki mowy
Silniki mogą być bezpłatne i komercyjne (oczywiście najwyższa jakość odtwarzanie dźwięku zapewniają silniki komercyjne).
SAPI 4. Nieaktualne wersje narzędzi. Nie zaleca się używania przestarzałych wersji na nowoczesne komputery. Lepiej przyjrzeć się SAPI 5 lub Microsoft Speech Platform.
SAPI 5. Nowoczesne silniki mowy, są zarówno darmowe jak i płatne. W Internecie można znaleźć dziesiątki aparatów mowy SAPI 5 (zarówno z głosem żeńskim, jak i męskim).
Jeden z najbardziej najlepsze programy do kopiowania tekstu. Pozwala komputerowi czytać więcej niż tylko proste pliki w formacie txt, ale także newsy, RSS, dowolne strony internetowe w Internecie, e-mail itp.
Ponadto umożliwia konwersję tekstu do pliku mp3 (który można następnie pobrać na dowolny telefon lub odtwarzacz mp3 i np. słuchać w trasie). Te. możesz sam tworzyć audiobooki!
Głosy programu IVONA są bardzo podobne do prawdziwych, wymowa nie jest wystarczająco zła, nie potykają się. Nawiasem mówiąc, program może być przydatny dla tych, którzy się uczą język obcy... Dzięki niej możesz posłuchać poprawnej wymowy niektórych słów, zwrotów.
Obsługuje SAPI5, a ponadto dobrze współpracuje z aplikacjami zewnętrznymi (np. Apple Itunes, Skype).
Przykład (wpis jednego z moich ostatnich artykułów)
Z minusów: czyta nieznane słowa z niepoprawnym akcentem i intonacją. Ogólnie rzecz biorąc, nie wystarczy posłuchać np. akapitu z podręcznika historii, idąc na wykład/lekcję – nawet więcej!
Bałabolka
Doskonały program do pracy z książkami: czytanie, katalogowanie, wyszukiwanie potrzebnej itp. Oprócz standardowych dokumentów, które można czytać innymi programami (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB -TXT, LIT-TXT , FB2-TXT itp.) Czytnik książek ICE obsługuje formaty plików .LIT, .CHM i ePub.
Ponadto ICE Book Reader umożliwia nie tylko czytanie, ale także doskonałą bibliotekę desktopową:
- umożliwia przechowywanie, przetwarzanie, katalogowanie książek (do 250 000 tys. egzemplarzy!);
- automatyczne zamawianie kolekcji;
- szybkie wyszukanie książki ze swojego „śmietnika” (szczególnie ważne, jeśli masz dużo literatury nieskatalogowanej);
- Silnik bazy danych ICE Book Reader przewyższa większość programów tego typu.
Ponadto program umożliwia czytanie tekstów głosem.
W tym celu przejdź do ustawień programu i skonfiguruj dwie zakładki: „Tryb” (wybierz czytanie głosowe) i „Tryb zamiany tekstu na mowę” (wybierz sam silnik mowy).
Gaduła
Dzięki Sakrament Talker możesz zmienić swój komputer w „mówiącą” książkę audio! Sakrament Talker obsługuje formaty RTF i TXT, potrafi automatycznie rozpoznać kodowanie pliku (prawdopodobnie czasami zauważyłeś, że niektóre programy otwierają plik z „crackerami” zamiast tekstu, ale w Sakrament Talker jest to niemożliwe!).
Ponadto Sakrament Talker pozwala grać wystarczająco duże pliki, szybko znajdź określone pliki. Tekst dźwięczny można nie tylko odsłuchać na komputerze, ale także zapisać do pliku mp3 (który później można skopiować do dowolnego odtwarzacza lub telefonu i odsłuchać z dala od komputera).
Ogólnie nie do końca zły program który obsługuje wszystkie popularne silniki głosowe.
To wszystko na dzisiaj. Pomimo tego, że dzisiejsze programy wciąż nie potrafią w pełni (100% jakościowo) odczytać tekstu, tak że człowiek nie może określić, kto go czyta: program czy osoba… Ale myślę, że kiedyś programy osiągną to: moc komputerów rosną, silniki rosną w siłę (w tym coraz bardziej nawet najbardziej skomplikowane zwroty mowy) - co oznacza, że już niedługo dźwięk z programu będzie nie do odróżnienia od zwykłej ludzkiej mowy?!
Dwie studentki z Uniwersytetu Beihai w Pekinie opracowały aplikację, która ma pomóc osobom niesłyszącym w Chinach. Aplikacja została nazwana Shouyin, co dosłownie oznacza „głos rąk”. Umożliwia tłumaczenie znaków języka osób niesłyszących na mowę w czasie rzeczywistym.
Aplikacja działa w połączeniu z inteligentną bransoletką i w tej chwili potrafi rozpoznać ponad 200 znaków, każdy znak został nagrany tysiąc razy od różnych osób, aby poprawić dokładność tłumaczenia. Teraz wskaźnik rozpoznawania wynosi 95%.
Młoda Nana Wan, która jest jednym z programistów, powiedziała, że zainspirowała ją głuchoniema przyjaciółka, z którą mogła komunikować się tylko poprzez wiadomości na telefon komórkowy... W Chinach około 5% populacji, czyli 70 milionów ludzi, jest głuchych. Aplikacja bez wątpienia odniesie wielki sukces. Oficjalne wydanie aplikacji planowane jest na koniec maja. Podobne programy istnieją już w innych krajach świata. Na przykład Uni z MotionSavvy i tłumacz dla głuchych i niemych z Google Chats.
Technologie rozwijają się dziś w szybkim tempie, także w sferze społecznej iw medycynie. Pomagają nie tylko uporać się z różnego rodzaju dolegliwościami, ale także lepiej zrozumieć bliźniego, nawet jeśli jego postrzeganie świata różni się od Twojego. Pomoże Ci rozmowa z osobą głuchoniemą specjalna aplikacja, natomiast technologia VR może pomóc np. w zrozumieniu autyzmu, a co za tym idzie zbliżyć Cię do osób cierpiących na tę chorobę.
Różne badania wykazały, że ponad 99% ludzi słyszało o autyzmie, ale tylko 16% naprawdę rozumie, co oznacza ten stan psychiczny. Według ankiety przeprowadzonej w Wielkiej Brytanii ponad 25% osób z autyzmem kiedykolwiek poprosiło o opuszczenie miejsca publicznego, takiego jak restauracja lub sklep, gdy zobaczyły objawy swojej choroby.
Aby rozwiązać ten problem dezinformacji, Brytyjskie Narodowe Towarzystwo Autyzmu postanowiło stworzyć: Film VR pomogłoby to wszystkim ludziom wiedzieć, jak to jest żyć z podobną diagnozą. GmbH pisała o tym.
Ten wirtualny film przeniesie Cię w ciało młodego chłopca z autyzmem i pokaże świat jego oczami. W filmie wchodzisz do centrum handlowego i doświadczasz ogromnego obciążenia sensorycznego, które odczuwa, gdy przechodzi przez to zatłoczone miejsce. Hałas, obfitość różnych przedmiotów, kwiaty, migotanie ludzi, ich głosy – to wszystko powoduje panikę, z którą bardzo trudno mu sobie poradzić.
Inna społeczność Alzheimera również opublikowała film VR, który stawia cię w sytuacji osoby z demencją. Film „Spacer przez demencję” pozwoli Ci zrozumieć, jak proste codzienne czynności, takie jak zrobienie sobie filiżanki herbaty, mogą stać się prawdziwym problemem dla osoby z tą chorobą.