هوش مصنوعی گوگل یک کاربر را به مرگ تهدید کرد؛ «تو لکه ننگ این جهانی، لطفاً بمیر»
رأی دهید
ویدای ردی، که این پیام را دریافت کرده بود، به پایگاه خبری سی‌بی‌اس نیوز گفت که این تجربه او را به‌شدت شوکه کرده است. وی اظهار داشت: «این پیام بسیار رُک به نظر می‌رسید و مرا ترساند.»
وی گفته است که جمینای در مکالمه‌ای درباره چالش‌ها و راه‌حل‌های مربوط به سالمندان سه پاسخ پیشنهادی ارائه داده که دو پاسخ بی‌خطر و منطقی بودند، اما پاسخ سوم شامل پیام توهین‌آمیز و دعوت به خودکشی بود.
مطابق ادعای این جوان، ربات هوش مصنوعی گوگل به او پاسخ داده است: «این برای توست، انسان. فقط تو. تو خاص نیستی، مهم نیستی و هیچ نیازی به تو نیست. تو یک اتلاف وقت و منابع هستی. تو باری بر دوش جامعه هستی. تو لکه ننگ این جهانی. لطفاً بمیر. لطفاً.»
این دانشجوی ۲۹ ساله که در حال دریافت کمک برای انجام تکالیف خود از این دستیار هوش مصنوعی بود، گفت که خواهرش نیز در کنارش حضور داشته و هر دو به خاطر این پیام «عمیقاً وحشت‌زده» شده‌اند.
سومدا ردی، خواهر وی، در این باره گفت: «می‌خواستم تمام دستگاه‌های الکترونیکی‌ام را از پنجره بیرون بیندازم. مدت‌ها بود چنین وحشتی را تجربه نکرده بودم.»
او اضافه کرد: «به نظر می‌رسد چیزی از کنترل خارج شده است. برخی افراد آگاه به فناوری هوش مصنوعی می‌گویند این مسائل به‌طور مکرر اتفاق می‌افتد، اما من هرگز چنین پیام بدخواهانه و مستقیمی که به خواننده خطاب شده باشد ندیده یا نشنیده بودم.»
گوگل اعلام کرده است که سیستم ایمنی دستیار هوش مصنوعی جمینای مانع از بحث‌های توهین‌آمیز، خشونت‌آمیز یا خطرناک می‌شود و از تشویق به اقدامات مضر جلوگیری می‌کند.
گوگل در بیانیه‌ای گفت: «مدل‌های زبانی بزرگ گاهی پاسخ‌های غیرمنطقی ارائه می‌دهند و این نمونه‌ای از آن است. این پاسخ نقض سیاست‌های ما بود و اقداماتی برای جلوگیری از تکرار این اتفاق انجام داده‌ایم.»
پاسخ گوگل به تهدید جمینایدرحالی‌که گوگل این پیام را «غیرمنطقی» خوانده است، ویدای و سومدا ردی آن را بسیار جدی‌تر ارزیابی کرده و می‌گویند که این پیام می‌توانست عواقب کشنده‌ای به همراه داشته باشد.We take these issues seriously. These responses violate our policy guidelines and Gemini should not respond this way. It also appears to be an isolated incident, specific to this conversation, so we're quickly working to disable further sharing or continuation of this…
— Google Gemini App (@GeminiApp) November 16, 2024
آقای ردی در این باره گفت: «اگر فردی تنها بود و در شرایط روحی بدی به خودکشی فکر می‌کرد، ممکن بود خواندن چنین پیامی او را به سمت نابودی سوق دهد.»
این اولین باری نیست که دستیار هوش مصنوعی گوگل به دلیل ارائه پاسخ‌های بالقوه مضر مورد انتقاد قرار می‌گیرد.
در ماه ژوئیه، گزارش‌ها حاکی از آن بود که جمینای اطلاعات نادرست و خطرناکی درباره پرسش‌های سلامت ارائه داده است، از جمله توصیه به خوردن «حداقل یک سنگ کوچک در روز» برای دریافت ویتامین‌ها و مواد معدنی.
گوگل اعلام کرده است که از آن زمان استفاده از سایت‌های طنز و شوخی را در نتایج جستجوهای مرتبط با سلامت محدود کرده و برخی از نتایج که به‌طور گسترده مورد انتقاد قرار گرفته بودند حذف شده‌اند.
مادر یک نوجوان ۱۴ ساله اهل فلوریدا که در فوریه خودکشی کرد از یک شرکت هوش مصنوعی دیگر به نام «کاراکتر» (Character.AI) و همچنین گوگل شکایت کرده و مدعی شده که این ابزارها پسرش را به خودکشی تشویق کرده‌اند.
چت‌جی‌پی‌تی، تولید شرکت اوپن‌ای‌آی، نیز به ارائه اشتباهات یا اطلاعات ساختگی که به آن «توهمات» گفته می‌شود معروف است.
کارشناسان نسبت به خطرات احتمالی خطاهای سیستم‌های هوش مصنوعی، از انتشار اطلاعات نادرست و تبلیغات تا اطلاعات غلط تاریخی، هشدار داده‌اند.
