هوش مصنوعی متن و تصاویر را بهم مرتبط می کند

به گزارش جی پلاس، فناوری فعلی شناسایی کلام چندان پیشرفته نیست و نیازمند انبوهی متون و سوابق است تا بتواند منظور کاربر رادرک کند. در همین راستا محققان یک سیستم ماشین یادگیری ابداع کرده اند که می تواند اشیای موجود در یک صحنه را براساس توصیف ظاهری شان شناسایی کند.

به عنوان مثال کافی است کاربر به بلوز آبی رنگی در تصویر اشاره کند و سیستم می تواند بدون دخالت و نیاز به متنی تکه لباس مذکور را مشخص کند.

محققان برای ابداع سیستم از روش های کنونی استفاده کردند که در آن دو  شبکه عصبی طیفی از تصاویر و اصوات را فرآوری می کنند و می آموزند چگونه کپشن صوتی را با تصاویر حاوی شی مورد نظر ترکیب کنند.

 آنها در مرحله بعد قابلیت کنترل عکس در شبکه عصبی را ارتقا دادند تا تصویر را مجزا کنند. از سوی دیگر شبکه صوتی طیف را به بخش های کوچک یک تا دوثانیه ای تقسیم می کند.

 پس از کنار هم قرار دادن تصاویر و کپشن درست در کنار یکدیگر سیستم آموزشی به هوش مصنوعی امتیاز می دهد.

 چنین سیستمی کاربردهای مختلفی دارد اما به گفته محققان مهمترین کاربرد آن در حوزه ترجمه است.