girişÇinli öğrenciler sağır ve dilsiz insanlarla iletişim kurmak için bir uygulama oluşturdular. DOU Projektör: Dikkat Edildi - Sağırlar ve İşitme Engelliler için İşitme Engelliler için Konuşma Tanıma Makinesi Uygulamaları
Fikir
Merhaba! Benim adım Vitaly, bir girişimin geliştiricisi ve kurucu ortağıyım Dikkatli Olun... Çocukluğumdan beri çok zayıf işitiyorum ve karım hiç duymuyor, uzun zamandır uygulamalar geliştirmeye başlamak istedim ve yazılım sağırlar ve işitme engelliler için. Karşılaştıkları tüm sorunlar bana tanıdık geliyor.
ben ve eşim Natalya
Daha önce Ukrayna'daki sivil havayolları için yazılım geliştirme ile uğraşıyordum, artırılmış gerçeklik uygulaması SIMO'yu oluşturdum. Teknoloji ile ilgili her şey her zaman ilgimi çekmiştir. Birkaç yıl önce, bir zamanlar birlikte çalıştığım Kiev Politeknik Enstitüsü'ndeki bir öğretmen aracılığıyla şimdi CEO'muz olan Sergei Malyukov ile tanıştım.
Sağır ve işitme güçlüğü çeken insanlar için bir uygulama oluşturma fikri 2013 yılında Sergey'e geldi. Akşam caddede yürürken sırtında bir araba korna çalmaya başlayınca Sergei hızla kenara atladı ama yakınlarda yürüyen çift yerinden kıpırdamadı. Arkalarından uzaklaşmaları için bağırdı, ama durdukları yerde kaldılar. Yakında Sergei bir çift sağır olduğunu fark etti, birbirleriyle işaret dilinde iletişim kurdular. Sergey, tehlikeli sesleri tanımasına yardımcı olacak uygulamalar olduğuna ikna olmuştu. Sağır insanlar için mevcut uygulamaları ve cihazları inceledikten ve tehlikeli sesleri tanımaya yardımcı olacak tek bir çözüm bulamayınca böyle bir uygulama yapmaya koyuldu. Çalışma sürecinde, birkaç ortak ona katıldı ve şimdi BeWarned, girişimin kurucuları tarafından kendi kendine yatırım yapıyor.
Projeyi duyar duymaz ve gelişmeleri görür görmez fikre kapıldım ve kısa sürede kurucu ortak oldum. Açık şu an Bir girişimin teknik geliştirmesiyle ilgileniyorum.
uygulama
2014 yılında, BeWarned uygulamasının ilk prototipi, tehlikeli sesleri gerçek zamanlı olarak tanımayı mümkün kılan Sound Monitor özelliği ile piyasaya sürüldü. Bu ilk küçük başarıydı. Ama bu sadece başlangıçtı.
Çocukluğumdan beri teknolojiyi sevdim, sık sık bir şeyler monte ettim veya demonte ettim, ondan ne olacağını görmek istedim
Yüzlerce e-posta ve incelemeden, sağır insanların tehlikeli sesleri tanıyan bir uygulamadan daha fazlasına ihtiyacı olduğu açıktı. Sağırların çözülebilecek binlerce çözülmemiş sorusu vardı. Bu mektuplara ve geri bildirimlere dayanarak, işitme engelliler için 4 teknik asistanı bir araya getiren BeWarned platformu oluşturuldu: Sound Monitor, Connect, Acil Çağrı ve Dans.
Sound Monitor, tehlikeli sesleri (çığlık, araba kornası, köpek havlaması, siren) algılayarak güvenlik sorununu çözer. Tehlike durumunda uygulama, akıllı telefondaki flaşın titreşmesi ve yanıp sönmesiyle kullanıcıyı uyarır. Connect, sağırların başkalarıyla iletişim kurmasına yardımcı olur - metni konuşmaya veya tam tersine dönüştürür. Dance, müzik parçalarını titreşime, ışık sinyallerine ve görsel ekolayzerin titreşimine dönüştürerek deneyimlemenizi sağlar. Acil Çağrı, kullanıcının tehlikeli bir durumdayken yardım için işiten sevdiklerini aramasına yardımcı olur.
Daha fazla video bulunabilir kanalımızda
2016 yazında, platformun Amerika Birleşik Devletleri'nde beta testini gerçekleştirdik. Sonuç olarak, kullanıcıların %88,9'u uygulamayı arkadaşlarına tavsiye edeceklerini bildirdi.
BeWarned'i geliştirmenin en zor kısmı, geliştirmek için birkaç yıl harcadığımız Sound Monitor oldu. Tehlikeli sesleri tanıma programı, sinir ağlarına dayanmaktadır. İki tür sinir ağı denedik: klasik çok katmanlı algılayıcı ve evrişimsel algılayıcı. sinir ağı... Ama sonra gizli Markov modelini denemeye karar verdik, görevlerimiz için en uygun olanı buydu.
Algoritmanın temel alacağı bir veritabanı oluşturmak için, kendimiz, algoritmanın gelen sesleri tanıyacağı ve bunları ait olarak belirleyeceği bir araba sinyali gibi bir tür tehlikeli sesin birçok varyantını kendimiz kaydettik. belirli bir tür. Ancak, çalışma sırasında, tanıma algoritmasının gelen tüm sesleri yalnızca mevcut kategorilere bağladığı bir sorunla karşılaştık: bir araba sinyali, bir bağırma, bir polis sireni sesi ve havlayan bir köpek. Örneğin, birisi gülüyorsa, program onu bu kategorilerden birine ait olarak tanıyacaktır. Bu sorunu çözmek için sesleri, örneğin frekanslara ve diğer özelliklere göre bölümlere ayırmamız gerekiyordu. Sonuç olarak, ek bir belirsiz ses türünü tanıtmak mümkün oldu.
BeWarned platformunun piyasaya sürülmesinden bir süre sonra, kullanılabilirliği iyileştirmek için önemli değişiklikler yapmaya karar verdik: her şeyi radikal bir şekilde basitleştirdik ve sağır insanların algısına göre uyarladık. Bu nedenle uygulamaları tek tek yeniden yayınladık.
Aralık ayında BeWarned platformunun bir işlevi olmaktan çıkıp bağımsız bir uygulamaya dönüşen BW Dance (Android, iOS) yayınlandı. BW Dance, sağır ve işitme güçlüğü çeken kişilerin en sevdikleri şarkılarla dans etmelerini sağlar. Kullanıcı en sevdiği şarkıları çalma listesine ekler ve uygulama müzikleri ekrandaki titreşimlere, flaşlara ve animasyonlara dönüştürür. Kullanıcı ayrıca görsel oynatıcı aracılığıyla müziği hissedebilir. BW Dance, hem Ukrayna'daki hem de yurtdışındaki kullanıcılar tarafından olumlu karşılandı.
Ardından işitme engelli ve işitme engelli kişilerin işiten kişilerle iletişim kurmasını sağlayan Connect by Bewarned (Android, iOS) uygulamasını yayınladık. Uygulamada bir veya daha fazla kişiyle iletişim kurmaya başlamak için BAŞLAT düğmesine basmanız ve muhatabın konuşmasına izin vermeniz yeterlidir, ardından uygulama konuşmayı sağır bir kişinin okuyabileceği bir metin mesajına dönüştürür. Uygulama ayrıca metni konuşmaya dönüştürür, sağır bir kişinin söylemek istediğini yazması gerekir. Ayrıca, bir kafede kahve siparişi vermek gibi basit, sıklıkla tekrarlanan durumları simüle eden bir dizi şablon geliştirdik. Bu şablonlarla, sağır bir kişi, işiten kişiye hızlı bir şekilde bir şey iletebilir. Ayrıca her sağır kişinin kişisel amaçları için ek şablonlar oluşturma olanağı da sağladık.
Sonuçlar
Ukrayna'da gazeteciler bize aktif olarak yazmaya başladı, hakkımızda hikayeler STB, 1 + 1, Kanal 5 ve diğerleri tarafından çekildi. İnsanların sağırları önemsediğini gördük ve sadeliğe ve kullanılabilirliğe odaklanmanın doğru yönde atılmış bir adım olduğundan emin olduk. Doğru yolda olduğumuzu anladık.
Eşim ve ben Kanal 5'ten gazetecilerle konuşuyoruz
Connect by Bewarned'ı 30 Ocak'ta Product Hunt'ta lanse ettik ve günün İLK 5'ine girdik ve resmi mail listesine de girdik. Product Hunt'taki ürünümüzle ilgili yorumlarda, Fransızca ve hatta Farsça yerelleştirmeler geliştirmemize yardımcı olacak teklifler aldık. Halihazırda var olan dört yerelleştirmeyle (İspanyolca, Rusça, Ukraynaca ve İngilizce) birlikte küresel hedefimize daha da yaklaşabileceğiz: sağır insanlar için hayatı kolaylaştırmak.
BT çalışanlarının kendilerine verilen becerileri diğer insanların yararına kullanmaları gerektiğine inanıyorum. Küçük ama başarılı deneyimimiz, yeni uygulamaların diğer insanların hayatlarını önemli ölçüde değiştirebileceğini gösteriyor. Bu nedenle Connect by Bewarned'da somutlaşan fikir üzerinde çalışmaya devam edeceğiz: sağırların ve işitenlerin iletişimindeki engelleri aşmak, dünyada yaklaşık 400 milyon var.
Dikkatli ekip soldan sağa: Ben, Evgeny, Evgeniya, Ivan, Julia, Sergey, Andrey, Ilona, Ira, Anton, Andrey (şimdi bu fotoğraftakinden daha fazlayız :))
Benim gibi insanlar, işiten bir kişiyle iletişim kurmaları gerektiğinde genellikle sorun yaşarlar: bir polis, bir doktor, bir bankacı. Yasal olarak, eşit haklara ve hizmetlere ve hizmetlere, işiten insanlarla eşit bir şekilde erişime sahibiz. Ancak gerçekte, yeteneklerimiz önemli ölçüde sınırlıdır. Bu nedenle, gerçek anlamda küresel bir görevi üstlenmeye karar verdik: sağır kişilerin, işiten kişilere sunulan tüm hizmetlere ve hizmetlere erişimini kolaylaştıracak küresel bir elektronik altyapı oluşturmak: bankalar, hastaneler, taksiler vb. Şu anda tam olarak bu görev üzerinde çalışıyoruz.
Bu tür uygulamalardaki temel sorun, bu nişin az gelişmiş olmasıdır. Araştırmamda 30'dan fazla uygulamaya baktım ve bunların neredeyse tamamı İngilizce konuşan bir kitle veya Avrupa veya Amerika Birleşik Devletleri'nde yaşayan insanlar için tasarlandı. Ancak, aşağıda sunulan altı uygulama bir istisna haline geldi ve umarım birileri için faydalı olur.
mucize modu
Miracle Modus, otistik bir geliştirici tarafından oluşturulmuş bir uygulamadır. Sözlerine ve incelemelerine bakılırsa Oyun marketi, uygulama gerçekten çalışıyor. Çalışma prensibi aynı zamanda basit ve karmaşıktır: Mucize Modus, çeşitli çizgiler ve desenler çizer ve otizmli insanlar üzerinde sakinleştirici etkisi olan rahatlatıcı sesler üretir.
Diyabet Kayıt Defteri
Birinci ve ikinci derece şeker hastalarına yardımcı olan bir uygulama. Gün içerisinde yediğiniz yiyeceklerle ilgili tüm bilgileri buraya girebilirsiniz. Raporun tamamı daha sonra sağlık uzmanınıza göstermek üzere Excel'e aktarılabilir.
migren dostum
Migren hastalarının yaşam tarzlarını analiz etmelerine ve hangi faktörlerin baş ağrısına yol açtığını anlamalarına olanak tanır. Uygulama aynı zamanda uykunuzu takip eder, böylece migren ve uyku kalitesi arasındaki ilişkiyi görebilirsiniz.
tümsekler
Tümsekler, görme engelli kişilerin Braille alfabesini öğrenmesine yardımcı olur. Uygulama yalnızca destekler İngilizce, bu nedenle sadece Rusça okumayı öğrenmek isteyenler için uygundur. Bumps, alfabeyi öğrenmenin yanı sıra çeşitli kelimeler girmenize ve bunları Braille'de yazarken izlemenize olanak tanır.
Android için benzer bir uygulama var - Braile Guide.
Yayılma İşaretleri
Spread Signs, sağır ve dilsiz insanların iletişim kurmasına yardımcı olacak devasa bir hareket kitaplığına sahiptir. Uygulama tabanı, Rusça, Ukraynaca ve İngilizce dahil olmak üzere bir düzineden fazla dili içerir. Tek tek harfler ve tam kelimeler için her iki hareketi de öğrenebilirsiniz.
Çok basit eylemler telefonda konuşmak, alt kata inmek hatta sütün son kullanma tarihini öğrenmek bile engelliler için zor olabilir. Ancak, bu sorunlardan bazıları bir akıllı telefon kullanarak başarıyla çözülebilir.
Engellilerin hayatını kolaylaştıran bir dizi mobil uygulamayla tanışın.
Konuşmayı tanıyan uygulamalar
Yandex.Konuşma
Yandex kısa süre önce, sağır ve işitme güçlüğü çeken kişilerin, konuşulanları metne çevirerek tanıdıkları ve yabancılarla iletişim kurmasına yardımcı olan bir uygulama yayınladı.
Uygulama konuşmayı dinleyebilir ve tanıyabilir - size söylenen her şey akıllı telefon ekranında metin biçiminde görüntülenir ve ayrıca yazılan kelimeleri yüksek sesle telaffuz eder.
Uygulama, bir grup MIPT öğrencisi tarafından icat edildi ve geliştirildi ve Yandex SpeechKit konuşma tanıma teknolojisi tarafından destekleniyor.
RogerSes
RogerVoice, sağırların muhataplarıyla telefonda konuşmalarını sağlayan bir uygulamadır. Uygulama, sesi metne dönüştürmek için konuşma tanıma teknolojisini kullanır, böylece sağır insanlar diğer kişinin onlara ne söylediğini okuyabilir.
Uygulama sayesinde ortaya çıktı başarılı bir Kickstarter kampanyası - Uygulamanın şu anda bir beta sürümü mevcuttur ve RogerVoice web sitesinden indirilebilir.
Duymanıza yardımcı olan bir uygulama
Şimdi Duyun
Bu uygulama ile, işitme engelli kullanıcılar sesi kendilerini buldukları duruma göre ayarlayabilirler - halka açık bir yerde, bir toplantıda vb. Bunu yapmak için, arka planı veya ön planı optimize etmek için sesin uygun ayarlarla sağlandığı akıllı telefona kulaklıklar bağlanır.
Hollandalı bir işitme cihazı üreticisi olan ExSilent tarafından geliştirilen uygulama, İşitme Cihazları, ama henüz buna hazır değil.
Merhaba!
"Ekmek bedeni, kitap da zihni besler"...
Kitaplar modern insanın en değerli hazinelerinden biridir. Kitaplar eski zamanlarda ortaya çıktı ve çok pahalıydı (bir kitap bir inek sürüsü ile değiştirilebilir!). Modern dünyada, kitaplar herkese açıktır! Onları okurken daha okuryazar oluyoruz, bakış açımız ve yaratıcılığımız gelişiyor. Ve genel olarak, birbirimize aktarmak için daha mükemmel bir bilgi kaynağı bulamadık!
geliştirme ile bilgisayar Teknolojisi(özellikle son 10 yılda) - sadece kitap okumakla kalmayıp onları dinlemek de mümkün hale geldi (yani onları okuyabileceksiniz) özel program, erkek veya kadın sesi). Sana anlatmak isterim yazılım araçları metnin seslendirmesi için.
Olası kayıt sorunları
Program listesine geçmeden önce, ortak bir sorun üzerinde durmak ve programın metni okuyamadığı durumları düşünmek istiyorum.
Mesele şu ki, var ses motorları, farklı standartlarda olabilirler: SAPI 4, SAPI 5 veya Microsoft Speech Platform (çoğu metin çoğaltma programında bu araç seçeneği vardır). Bu nedenle, sesle okumak için bir programa ek olarak, bir motora ihtiyaç duyulması mantıklıdır (hangi dilde okunacağınıza, hangi sesle: erkek veya kadın, vb.).
konuşma motorları
Motorlar ücretsiz ve ticari olabilir (elbette, en iyi kalite ses çalma, ticari motorlar tarafından sağlanır).
SAPI 4. Araçların güncel olmayan sürümleri. Modern bilgisayarlar için eski sürümlerin kullanılması önerilmez. SAPI 5 veya Microsoft Speech Platform'a daha yakından bakmak daha iyidir.
SAPI 5. Modern konuşma motorları, hem ücretsiz hem de ücretli. Onlarca SAPI 5 konuşma motoru (hem kadın hem de erkek sesiyle) internette bulunabilir.
En iyilerinden biri en iyi programlar Metnin dublajı için. PC'nizin sadece daha fazlasını okumasını sağlar basit dosyalar txt formatında değil, aynı zamanda haberler, RSS, İnternet'teki herhangi bir web sayfası, e-posta vesaire.
Ek olarak, metni bir mp3 dosyasına dönüştürmenize olanak tanır (daha sonra herhangi bir telefona veya mp3 çalara indirebilir ve örneğin yolda dinleyebilirsiniz). Onlar. kendi başınıza sesli kitaplar oluşturabilirsiniz!
IVONA programının sesleri gerçek seslere çok benziyor, telaffuzu yeterince kötü değil, tökezlemiyor. Bu arada, program okuyanlar için faydalı olabilir yabancı Dil... Onun sayesinde, belirli kelimelerin doğru telaffuzunu dinleyebilirsiniz, dönüşler.
SAPI5'i destekler, ayrıca harici uygulamalarla (örneğin, Apple Itunes, Skype) iyi işbirliği yapar.
Örnek (son makalelerimden birinin girişi)
Eksilerden: yanlış vurgu ve tonlama ile bazı yabancı kelimeleri okur. Genel olarak derse / derse giderken örneğin bir tarih kitabından bir paragraf dinlemek yeterince kötü değil - hatta daha da fazlası!
Balabolka
Kitaplarla çalışmak için mükemmel bir program: okuma, kataloglama, istenileni arama vb. Diğer programlar tarafından okunabilen standart belgelere ek olarak (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB) -TXT, LIT-TXT , FB2-TXT, vb.) ICE Book Reader .LIT, .CHM ve ePub dosya formatlarını destekler.
Ek olarak, ICE Book Reader yalnızca okumaya değil, aynı zamanda mükemmel bir masaüstü kitaplığına da izin verir:
- kitapları saklamanıza, işlemenize, kataloglamanıza izin verir (250.000 bin kopyaya kadar!);
- koleksiyonunuzun otomatik siparişi;
- "çöplükten" bir kitap için hızlı arama (özellikle kataloglanmamış çok sayıda literatürünüz varsa önemlidir);
- ICE Book Reader veritabanı motoru, kendi türündeki çoğu programdan daha iyi performans gösterir.
Ayrıca program metinleri sesli olarak okumanıza da olanak tanır.
Bunu yapmak için program ayarlarına gidin ve iki sekme yapılandırın: "Mod" (sesli okumayı seçin) ve "Metin-konuşma modu" (konuşma motorunun kendisini seçin).
konuşmacı
Sakrament Talker ile bilgisayarınızı “konuşan” bir sesli kitaba dönüştürebilirsiniz! Sakrament Talker, RTF ve TXT formatlarını destekler, dosya kodlamasını otomatik olarak tanıyabilir (muhtemelen bazen bazı programların bir dosyayı metin yerine “cracker” ile açtığını fark etmişsinizdir, ancak bu Sakrament Talker'da imkansızdır!).
Ek olarak, Sakrament Talker, yeterince oynamanıza izin verir. büyük dosyalar, hızlı bir şekilde belirli dosyaları bulun. Sesli metin sadece bilgisayarda dinlenmekle kalmaz, aynı zamanda bir mp3 dosyasına da kaydedilebilir (daha sonra herhangi bir oynatıcıya veya telefona kopyalanabilir ve bilgisayardan uzakta dinlenebilir).
Genel olarak, pek değil kötü program hangi tüm popüler ses motorlarını destekler.
Hepsi bugün için. Günümüz programlarının hala metni tam olarak okuyamamasına rağmen (niteliksel olarak %100) bir kişi onu kimin okuduğunu belirleyemez: bir program mı yoksa bir kişi mi ... Ama bence bir gün programlar buna ulaşacak: bilgisayarların gücü büyür, motorların hacmi büyür (giderek en karmaşık konuşma dönüşleri dahil) - bu, programdan gelen sesin çok yakında sıradan insan konuşmasından ayırt edilemez olacağı anlamına mı geliyor?
Beijing Beihai Üniversitesi'nden iki kız öğrenci, Çin'deki sağır insanlara yardım etmek için bir uygulama geliştirdi. Uygulamaya, kelimenin tam anlamıyla "ellerin sesi" anlamına gelen Shouyin adı verildi. Sağırların dilinin işaretlerini gerçek zamanlı olarak konuşmaya çevirmenizi sağlar.
Uygulama, akıllı bir bilezik ile birlikte çalışır ve şu anda 200'den fazla karakteri tanıyabilir, çevirinin doğruluğunu artırmak için her karakter farklı kişilerden bin kez kaydedilmiştir. Şimdi tanınma oranı %95.
Geliştiricilerden biri olan genç Nana Wan, yalnızca mesaj yoluyla iletişim kurabildiği sağır-dilsiz bir arkadaşından ilham aldığını söyledi. cep telefonu... Çin'de nüfusun yaklaşık %5'i veya 70 milyon insan sağırdır. Uygulama şüphesiz çok başarılı olacaktır. Uygulamanın resmi sürümünün Mayıs ayı sonunda yapılması planlanıyor. Benzer programlar dünyanın diğer ülkelerinde zaten var. Örneğin, MotionSavvy'den Uni ve Google Chats'ten sağır ve dilsizler için çevirmen.
Günümüzde teknolojiler, sosyal alanlar ve tıp dahil olmak üzere hızlı bir şekilde gelişiyor. Sadece çeşitli rahatsızlıklarla başa çıkmak için değil, aynı zamanda dünya algısı sizinkinden farklı olsa bile komşunuzu daha iyi anlamanıza yardımcı olurlar. Sağır ve dilsiz biriyle konuşmak size yardımcı olacaktır. özel uygulama VR teknolojisi, örneğin otizmi anlamanıza yardımcı olabilir ve bu nedenle sizi bu hastalıktan muzdarip olanlara daha da yaklaştırabilir.
Çeşitli araştırmalar, insanların %99'undan fazlasının otizmi duyduğunu, ancak yalnızca %16'sının bu zihinsel durumun ne anlama geldiğini gerçekten anladığını göstermiştir. Birleşik Krallık'ta yapılan bir ankete göre, otizmli kişilerin %25'inden fazlası, hastalıklarının belirtilerini gördüklerinde restoran veya dükkan gibi halka açık bir yerden ayrılmak istedi.
Bu dezenformasyon sorununun üstesinden gelmek için İngiliz Ulusal Otistik Derneği, sanal gerçeklik filmi bu, tüm insanların benzer bir teşhisle yaşamanın nasıl bir şey olduğunu bilmelerine yardımcı olur. GmbH bu konuda yazdı.
Bu sanal video sizi otizmli genç bir çocuğun vücuduna götürecek ve dünyayı onun gözünden gösterecek. Filmde bir alışveriş merkezine giriyor ve bu kalabalık mekanda yürürken hissettiği muazzam duyusal yükü deneyimliyorsunuz. Gürültü, çeşitli nesnelerin bolluğu, çiçekler, insanların titremesi, sesleri - tüm bunlar, çocuğun baş etmesi çok zor olan paniğe neden olur.
Başka bir Alzheimer topluluğu da sizi bunaması olan birinin yerine koyan bir VR filmi yayınladı. "Dementia'da Yürüme" filmi, kendinize bir fincan çay yapmak gibi bazı basit günlük aktivitelerin bu hastalığı olan biri için nasıl gerçek bir sorun haline gelebileceğini anlamanıza yardımcı olacak.