A hallássérültek, siketek rosszul, vagy egyáltalán nem értik a beszédet és rosszul beszélnek. A rosszul értés csökkenthető, ha a beszédet a szájról olvasásnál markánsabban segítheti a látás. Ugyanez érvényes a beszéd minőségének javítására, hisz akkor a helyes beszédet és a hallottat a látás segítségével össze lehet hasonlítani, és folyamatosan korrigálni. A kezdeményezés két, együtt is alkalmazható eljárást kínál a beszéd vizualizációjára.
A Debreceni Egyetemen kidolgozott audiovizuális transzkóder a hang vizualizálására, a Miskolci Egyetemen kifejlesztett „beszélő fej”, azaz az artikulációt megjelenítő háromdimenziós fejmodell képezi az alapját a most kezdődő fejlesztéseknek. Az új technológia komplex oktatási rendszerbe foglalja a beszédfolyamat audio-vizuális megjelenítését, valamint a beszéd hangképeinek és artikulációjának vizuális megjelenítését. A tervezett modell azáltal, hogy a szavak helyes artikulációját is megmutatja, lényegesen hatékonyabb a jelenleg alkalmazott rendszereknél.
A kifejleszteni kívánt technológia részben nyelvfüggetlen, részben könnyen adaptálható idegen nyelvekre. A rendszer terjesztése az interneten történik, szabad hozzáférésű alkalmazásban.
A kutatás elméleti alapja: az agyban az akusztikus és vizuális modalitás optimális összekapcsolódása teszi lehetővé a legjobb beszédérthetőséget. A hallássérültek esetében minél erősebb az akusztikus jel torzulása, annál inkább támaszkodnak a vizuális jelre. Ez akkor is teljesül, ha a vizuális jel nem a beszélő képe, hanem a hang vizuális átirata. Ennek igazolása az agyi plaszticitás bizonyításának egy újabb, döntő állomása lenne – mndta el dr. Sziklai István egyetemi tanár, a kutatás szakmai vezetője. A munkában három debreceni és öt miskolci kutatócsoport vesz részt.
