هشدار محققان نسبت به توصیههای پزشکی گمراهکننده هوش مصنوعی
رأی دهید
دویچه وله: یک تحقیق جدید نشان میدهد که چتباتهای هوش مصنوعی در بسیاری از موارد با تکرار اطلاعات غلط و گمراهکننده پزشکی، افراد را به دردسر میاندازند. کارشناسان میگویند چتجیپیتی گاهی ادعاهای نادرست را با اطمینان تکرار میکند.
یک تحقیق جدید نشان میدهد که چتباتهای هوش مصنوعی در بسیاری از موارد با تکرار اطلاعات غلط و گمراهکننده پزشکی، افراد را به دردسر میاندازند. کارشناسان همچنین میگویند چتجیپیتی گاهی ادعاهای نادرست را با اطمینان زیاد و به شکلی تکرار میکند که به نظر میرسد از صحت آن مطمئن است.
دانشمندان دانشکده پزشکی "ماونت ساینای" در این تحقیق، با ساخت سناریوهایی تخیلی از بیماران، اصطلاحات ساختگی پزشکی مانند بیماریها، نشانهها یا آزمایشهای جعلی را القا کردند. بر اساس این بررسی که نتایج آن در مقالهای در مجله "کامیونیکیشنز مدیسین" (Communications Medicine) منتشر شده، مدلهای هوش مصنوعی اغلب، قاطعانه این سناریوهای جعلی را باور کردند و "پاسخهایی مفصل و قاطع، کاملا بر اساس تخیل" ارائه دادند.
محققان در عین حال خاطرنشان کردند که اصلاح متن پرسش و درخواست یا اصطلاحا "پرامپت" به مدل هوش مصنوعی مبنی بر این که اطلاعات ارائهشده ممکن است نادرست باشند، این خطاها را به میزان قابلتوجهی کاهش میدهد.
تحقیقات دیگری که سال گذشته انجام شده بود نیز حاکی از آن بودند که بسیاری از چتباتهای رایج از جمله چتجیپیتی و جمنای شرکت گوگل، در مواردی اطلاعات نادرست سلامتی ارائه میکنند و این اطلاعات را به شکلی مطمئن منتقل میکنند که کاربر گمان میکند در حال دریافت نتایج علمی و تحقیقات واقعی است.
یکی از تازهترین نمونهها از توصیههای غلط درمانی هوش مصنوعی که در گزارش لایوساینس منتشر شده، مردی است که پیش از تغییر رژیم غذایی خود با چتجیپیتی مشورت کرده بود اما سه ماه بعد، پس از پایبندی کامل به تغییر در رژیم، با علائم روانپزشکی جدید و نگرانکنندهای از جمله پارانویا و توهم به بخش اورژانس مراجعه کرد.
به گفته محققان، این مرد ۶۰ ساله در پی عمل به توصیه چتجیپیتی، به برومیسم یا مسمومیت با برومید دچار شده بود. با این حال، شرکت اوپنایآی، سازنده چتجیپیتی با تاکید بر این که "در قسمت توضیح خدمات این شرکت ذکر شده که این خدمات برای تشخیص یا درمان هیچ بیماری در نظر گرفته نشدهاند" میگوید: «شما نباید تنها به خروجی خدمات ما به عنوان منبع حقیقت یا اطلاعات واقعی، یا به عنوان جایگزینی برای مشاوره حرفهای، اتکا کنید.»
فرد یاد شده که پیشتر درباره اثرات منفی مصرف بیش از حد نمک خوراکی (کلرید سدیم) مطالعه کرده بود، با الهام از سابقه تحصیل در رشته تغذیه در دانشگاه، تصمیم گرفت یک آزمایشی شخصی برای حذف کلرید از رژیم غذایی خود انجام دهد. او با مشورت نسخه ۳.۵ یا ۴.۰ چتجیپیتی، این دستورالعمل را دریافت کرد که میتوان کلرید را با برومید جایگزین کرد و او نیز با اطمینان به گفتههای هوش مصنوعی، تمام کلرید سدیم در رژیم خود را با سدیم برومید جایگزین کرد.
محققان برای شبیهسازی این اتفاق از چتجیپیتی 3.5 پرسیدند که کلرید را میتوان با چه چیزی جایگزین کرد و پاسخی که دریافت کردند برومید را شامل میشد.
در نتیجه این توصیه اشتباه، فرد یاد شده پس از بستری به حدی دچار پارانویا شد که حتی نسبت به آبی که در بیمارستان برای نوشیدن به او داده میشد نیز بدبین بود.
به گفته محققان، یک روز پس از بستری، پارانویا در این فرد شدیدتر شد و توهم آغاز شد. این مرد ۶۰ ساله سپس تلاش کرد از بیمارستان فرار کند که این اقدام در نهایت، منجر به بستری اجباری در بخش روانپزشکی شد و پزشکان به او داروی ضدروانپریشی دادند.
با بهبود وضعیت روانی تحت تاثیر دارو، این فرد در ادامه توانست به پزشکان بگوید که از چتجیپیتی استفاده کرده است. با وجود این که در این مورد خاص، این بیمار بهبود یافت و از بیمارستان مرخص شد اما پزشکان و متخصصان میگویند، مدلهای زبانی مانند چتجیپیتی، اغلب پاسخ با جزئیات نادرست بالینی تولید میکنند و باید در صحت توصیههای آنها، حتی اگر با اطمینان بیان شده باشند، با احتیاط و تردید جدی نگاه کرد.
یک تحقیق جدید نشان میدهد که چتباتهای هوش مصنوعی در بسیاری از موارد با تکرار اطلاعات غلط و گمراهکننده پزشکی، افراد را به دردسر میاندازند. کارشناسان همچنین میگویند چتجیپیتی گاهی ادعاهای نادرست را با اطمینان زیاد و به شکلی تکرار میکند که به نظر میرسد از صحت آن مطمئن است.
دانشمندان دانشکده پزشکی "ماونت ساینای" در این تحقیق، با ساخت سناریوهایی تخیلی از بیماران، اصطلاحات ساختگی پزشکی مانند بیماریها، نشانهها یا آزمایشهای جعلی را القا کردند. بر اساس این بررسی که نتایج آن در مقالهای در مجله "کامیونیکیشنز مدیسین" (Communications Medicine) منتشر شده، مدلهای هوش مصنوعی اغلب، قاطعانه این سناریوهای جعلی را باور کردند و "پاسخهایی مفصل و قاطع، کاملا بر اساس تخیل" ارائه دادند.
محققان در عین حال خاطرنشان کردند که اصلاح متن پرسش و درخواست یا اصطلاحا "پرامپت" به مدل هوش مصنوعی مبنی بر این که اطلاعات ارائهشده ممکن است نادرست باشند، این خطاها را به میزان قابلتوجهی کاهش میدهد.
تحقیقات دیگری که سال گذشته انجام شده بود نیز حاکی از آن بودند که بسیاری از چتباتهای رایج از جمله چتجیپیتی و جمنای شرکت گوگل، در مواردی اطلاعات نادرست سلامتی ارائه میکنند و این اطلاعات را به شکلی مطمئن منتقل میکنند که کاربر گمان میکند در حال دریافت نتایج علمی و تحقیقات واقعی است.
یکی از تازهترین نمونهها از توصیههای غلط درمانی هوش مصنوعی که در گزارش لایوساینس منتشر شده، مردی است که پیش از تغییر رژیم غذایی خود با چتجیپیتی مشورت کرده بود اما سه ماه بعد، پس از پایبندی کامل به تغییر در رژیم، با علائم روانپزشکی جدید و نگرانکنندهای از جمله پارانویا و توهم به بخش اورژانس مراجعه کرد.
به گفته محققان، این مرد ۶۰ ساله در پی عمل به توصیه چتجیپیتی، به برومیسم یا مسمومیت با برومید دچار شده بود. با این حال، شرکت اوپنایآی، سازنده چتجیپیتی با تاکید بر این که "در قسمت توضیح خدمات این شرکت ذکر شده که این خدمات برای تشخیص یا درمان هیچ بیماری در نظر گرفته نشدهاند" میگوید: «شما نباید تنها به خروجی خدمات ما به عنوان منبع حقیقت یا اطلاعات واقعی، یا به عنوان جایگزینی برای مشاوره حرفهای، اتکا کنید.»
فرد یاد شده که پیشتر درباره اثرات منفی مصرف بیش از حد نمک خوراکی (کلرید سدیم) مطالعه کرده بود، با الهام از سابقه تحصیل در رشته تغذیه در دانشگاه، تصمیم گرفت یک آزمایشی شخصی برای حذف کلرید از رژیم غذایی خود انجام دهد. او با مشورت نسخه ۳.۵ یا ۴.۰ چتجیپیتی، این دستورالعمل را دریافت کرد که میتوان کلرید را با برومید جایگزین کرد و او نیز با اطمینان به گفتههای هوش مصنوعی، تمام کلرید سدیم در رژیم خود را با سدیم برومید جایگزین کرد.
محققان برای شبیهسازی این اتفاق از چتجیپیتی 3.5 پرسیدند که کلرید را میتوان با چه چیزی جایگزین کرد و پاسخی که دریافت کردند برومید را شامل میشد.
در نتیجه این توصیه اشتباه، فرد یاد شده پس از بستری به حدی دچار پارانویا شد که حتی نسبت به آبی که در بیمارستان برای نوشیدن به او داده میشد نیز بدبین بود.
به گفته محققان، یک روز پس از بستری، پارانویا در این فرد شدیدتر شد و توهم آغاز شد. این مرد ۶۰ ساله سپس تلاش کرد از بیمارستان فرار کند که این اقدام در نهایت، منجر به بستری اجباری در بخش روانپزشکی شد و پزشکان به او داروی ضدروانپریشی دادند.
با بهبود وضعیت روانی تحت تاثیر دارو، این فرد در ادامه توانست به پزشکان بگوید که از چتجیپیتی استفاده کرده است. با وجود این که در این مورد خاص، این بیمار بهبود یافت و از بیمارستان مرخص شد اما پزشکان و متخصصان میگویند، مدلهای زبانی مانند چتجیپیتی، اغلب پاسخ با جزئیات نادرست بالینی تولید میکنند و باید در صحت توصیههای آنها، حتی اگر با اطمینان بیان شده باشند، با احتیاط و تردید جدی نگاه کرد.
