دستکشی با قابلیت تبدیل زبان اشاره به زبان گفتار+ عکس

"جون چن"(Jun Chen)، استادیار مهندسی پزشکی دانشگاه کالیفرنیا، لس آنجلس و پژوهشگر ارشد این پروژه گفت: ما امیدواریم که این فناوری بتواند به افرادی که از زبان اشاره برای برقراری ارتباط با دیگران استفاده می‌کنند، کمک کند تا دیگر به مترجم نیازی نداشته باشند. همچنین ما امیدواریم که این دستکش کمک کند تا افراد بیشتری، زبان اشاره را یاد بگیرند.

این فناوری جدید، یک جفت دستکش را شامل می‌شود که به حسگرهای باریک و قابل کشش مجهز هستند. هر یک از حسگرها، در امتداد یکی از انگشت‌های دست قرار می‌گیرند. این حسگرها، از الیاف رسانای الکتریسیته ساخته شده‌اند و می‌توانند حرکات دست و انگشتان را که هر یک نشانه حرف، شماره، کلمه یا عبارتی هستند، بررسی کنند.

سپس این ابزار، حرکات انگشتان را به سیگنال‌های الکتریکی برمی‌گرداند که به صفحه‌ای در ابعاد یک اسکناس یک دلاری فرستاده می‌شوند. این صفحه، روی مچ دست کاربر قرار دارد و می‌تواند سیگنال‌ها را به صورت بی‌سیم به تلفن همراه انتقال دهد تا به گفتار ترجمه شوند.

پژوهشگران، حسگرهای دیگری را نیز به چهره داوطلبان این پژوهش اضافه کردند تا حالت‌های چهره آنها نیز مورد بررسی قرار بگیرد.

چن ادامه داد: سیستم‌های پوشیدنی پیشین که برای ترجمه زبان اشاره آمریکایی ابداع شده‌اند، با محدودیت‌هایی همراه هستند. این سیستم‌ها، بسیار بزرگ و سنگین هستند و استفاده از آنها برای کاربر ساده نیست.

ابزار ارائه شده در این پژوهش، از پلیمرهای سبک و کم‌هزینه ساخته شده که بادوام و کشش‌پذیر هستند. حسگرهای الکترونیکی نیز انعطاف بسیار و هزینه کمی دارند.

پژوهشگران، این ابزار را روی چهار داوطلب ناشنوا آزمایش کردند که از زبان اشاره آمریکایی استفاده می‌کنند. داوطلبان، حرکات هر دست را ۱۵ مرتبه تکرار کردند و یک الگوریتم مبتنی بر یادگیری ماشینی، این حرکات را به حروف، شماره‌ها و کلمات ترجمه کرد. این سیستم توانست ۶۶۰ نشانه شامل حروف الفبا و اعداد بین صفر تا ۹ را تشخیص دهد.

این گروه پژوهشی موفق نشده تا اختراع خود را به ثبت برساند زیرا یک مدل تجاری مبتنی بر این فناوری، به کلمات بیشتری نیاز دارد و باید ترجمه را سریع‌تر انجام دهد.

این پژوهش، در مجله "Nature Electronics" به چاپ رسید.