به گزارش خبرگزاری فارس به نقل از روابط عمومی دانشگاه صنعتی امیرکبیر، مجری طرح، کاربرد سامانه‌های لب‌خوانی رایانه‌ای را در تشخیص فرامین ناتوانان گفتاری، تشخیص برخی کلمات خاص، مکمل‌بازشناسی گفتار صوتی و همچنین کاربردهای نظامی و اطلاعاتی و حفاظتی ذکر کرد.
رضاشالباف گفت: فرآیند بازشناسی تصویری گفتار شامل دو مرحله استخراج ویژگی‌ از دنباله تصاویر لب و طبقه‌بندی ویژگی‌ها به دست آمده است.
وی افزود: ویژگی‌های گفتاری تصویر حرکات لب این افراد که دارای رنگ پوست و ظاهر متفاوتی بودند به کمک طراحی یک الگورتیم جدید استخراج شده و در مرحله بعد با استفاده از الگوریتم مدل مخفی مارکوف؛ حرکات و گفتار تصویری تشخیص داده شد.
شالباف گفت: این نرم‌افزار به معلولینی کمک می‌کند که دچار آسیب در سیستم صوتی بوده و قادر به برقراری ارتباط با دیگران نیستند این افراد معمولا توانایی انجام صحیح حرکات لب و شکلی که برای تکلم لازم است را داشته ودر حالت ایده‌ال می‌توان با انجام لب‌خوانی به مقصود آنها پی برد.
مجری طرح اضافه کرد: بهره‌گیری از اطلاعات تصویری ازشکل‌های لب و حرکات آن، دقت و اطمینان سیستم‌های تشخیص اتوماتیک گفتار صوتی را خصوصا در محیط‌های نویزی به طور قابل توجهی بهبود می‌دهد.
وی خاطر نشان کرد: درکاربرد حفاظتی ، این سامانه می‌تواند با بهره‌گیری از حرکات لب و بدون ثبت سیگنال صوتی، کلمات خاصی را شناسایی و تصویر گوینده آن را در مراکز عمومی و محل‌های تردد ثبت کند.
شالباف گفت: آزمایش این نرم‌افزار بر روی مجموعه دادگان جمع‌آوری شده شامل 20 نفر زن و مرد بین سنین 20تا 50 سال صورت گرفته و روی 6 واژه گفتاری 1،2،3،4،5،6 با 91 درصد موفقیت، بازشناسی گفتار انجام شده است