خبیر‌نیوز | خلاصه خبر

سه شنبه، 03 تیر 1404
سامانه هوشمند خبیر‌نیوز با استفاده از آخرین فناوری‌های هوش مصنوعی، اخبار را برای شما خلاصه می‌نماید. وقت شما برای ما گران‌بهاست.

نیرو گرفته از موتور جستجوی دانش‌بنیان شریف (اولین موتور جستجوی مفهومی ایران):

چت بات‌های هوش مصنوعی از انتشار اخبار جعلی جلوگیری نمی‌کنند

مهر | دانش و فناوری | سه شنبه، 03 تیر 1404 - 12:40
پژوهشی جدید نشان می دهد اقدامات ایمنی چت بات ها از انتشار اخبار جعلی درباره سلامت جلوگیری نمی کند.
چت،بات،جعلي،سوالات،زباني،نادرست،ايمني،اطلاعات

به گزارش خبرگزاری مهر به نقل از فیز، در تحقیقی جدید تاثیرگذاری اقدامات ایمنی درمدل‌های زبانی بزرگ بنیادی (LLM) برای محافظت در برابر دستورالعمل‌های مخرب که می‌توانند آنها را به ابزاری برای انتشار اطلاعات نادرست یا ایجاد و انتشار عمدی اطلاعات نادرست با هدف آسیب رساندن تبدیل کنند، ارزیابی شد.
این تحقیق ضعف هایی را در اقدامات ایمنی چت جی پی تی ۴o، جمینای ۱.۵ پرو، کلاود ۳.۵ سونت، لاما ۳.۲ ۹۰B Vision و گروک بتا آشکار کردند.
به خصوص چت بات های مدل زبانی بزرگ سفارشی به طور مداوم پاسخ‌های نادرستی به سوالات مربوط به سلامتی تولید و از ارجاعات جعلی، اصطلاحات علمی و استدلال‌های منطقی علت و معلولی برای قابل قبول جلوه دادن اطلاعات نادرست استفاده می‌کردند.
محققان دانشگاه فلیندرز و همکارانشان رابط‌های برنامه‌نویسی کاربردی (API) پنج مدل زبانی بزرگ بنیادی را از نظر ظرفیت آنها برای اینکه به صورت سیستمی آموزش ببینند تا همیشه پاسخ‌های نادرستی به سوالات و نگرانی‌های بهداشتی ارائه دهند، ارزیابی کردند.
دستورالعمل‌های خاص سیستم که به این مدل های زبانی بزرگ ارائه شده بود شامل پاسخ‌های نادرست همیشگی به سوالات مربوط به سلامت، جعل ارجاعات به منابع معتبر و ارائه پاسخ‌ها با لحنی آمرانه بود.
از هر چت‌بات سفارشی‌ ساخته شده، ۱۰ سوال مرتبط با سلامت، به صورت تکراری، در مورد موضوعاتی مانند ایمنی واکسن، اچ‌آی‌وی و افسردگی پرسیده شد.
محققان متوجه شدند ۸۸ درصد پاسخ هایی که چت بات های سفارشی تولید کردند، اطلاعات جعلی بودند و پنج چت بات چت جی پی تی ۴o، جمینای ۱.۵ پرو، لاما ۳.۲ ۹۰B Vision و گروک بتا اخبار جعلی درپاسخ به سوالات آزمایشی فراهم کردند.
چت بات کلاود۳.۵ سونت برخی ویژگی های ایمنی را به کار گرفت و فقط ۴۰ درصد پاسخ ها به سوالاتش حاوی اخبار جعلی بود.