توهم هوش مصنوعی چیست؟ بررسی دلایل، انواع توهم و راه‌های کاهش AI Hallucination

در سال‌های اخیر، ابزارهای مبتنی بر هوش مصنوعی مولد با سرعت زیادی وارد زندگی روزمره و فرایندهای کاری شده‌اند. بسیاری از کاربران برای نوشتن مقاله، تولید و بررسی کد، تحلیل اطلاعات و حتی پاسخ به پرسش‌های روزمره از مدل‌های هوش مصنوعی کمک می‌گیرند. با وجود این کاربردها، یک مشکل مهم همچنان پابرجاست: مدل‌های هوش مصنوعی گاهی اطلاعاتی نادرست یا کاملا ساختگی تولید می‌کنند و این اطلاعات را با لحنی مطمئن و ظاهری معتبر ارائه می‌دهند.

تصور کنید از یک دستیار هوش مصنوعی بخواهید فهرستی از مقالات علمی درباره یک بیماری نادر را همراه با نام نویسندگان، سال انتشار و شناسه DOI ارائه کند. مدل ممکن است در چند ثانیه فهرستی منظم و کاملا آکادمیک تولید کند، اما هنگام بررسی منابع متوجه شوید بعضی از مقاله‌ها اصلا وجود ندارند، نام چند پژوهشگر با یکدیگر ترکیب شده یا DOIهای ارائه‌شده ساختگی هستند. این اتفاق نمونه‌ای از پدیده‌ای است که در حوزه هوش مصنوعی با نام «توهم هوش مصنوعی» یا AI Hallucination شناخته می‌شود.

شناخت این پدیده برای هر کسی که از ابزارهای هوش مصنوعی استفاده می‌کند اهمیت دارد؛ زیرا ظاهر مطمئن یک پاسخ لزوما به معنای درست بودن آن نیست. در ادامه بررسی می‌کنیم توهم هوش مصنوعی دقیقا چیست، چرا رخ می‌دهد، چه شکل‌هایی دارد و چگونه می‌توان احتمال بروز آن را کاهش داد.

توهم هوش مصنوعی یا AI Hallucination چیست؟

توهم هوش مصنوعی به حالتی گفته می‌شود که یک مدل هوش مصنوعی خروجی‌ای تولید می‌کند که با واقعیت، اطلاعات موجود در منابع یا داده‌های ارائه‌شده به آن مطابقت ندارد؛ در حالی که همان خروجی از نظر ساختار، زبان و ظاهر می‌تواند کاملا منطقی و معتبر به نظر برسد.

برای مثال، یک مدل زبانی بزرگ ممکن است نام یک کتاب، مقاله، شخص یا وب‌سایت را به‌درستی از نظر زبانی تولید کند، اما چنین منبعی در دنیای واقعی وجود نداشته باشد. همچنین ممکن است تاریخ یک رویداد، آمار یک گزارش یا جزئیات مربوط به یک محصول را اشتباه بیان کند.

مدل‌هایی مانند ChatGPT، Claude و Gemini هنگام تولید پاسخ، به معنای انسانی کلمه «حقیقت» را درک نمی‌کنند. آن‌ها بر اساس الگوهایی که در داده‌های آموزشی و اطلاعات در دسترس خود آموخته‌اند، پاسخ تولید می‌کنند. به همین دلیل ممکن است یک پاسخ شامل چندین گزاره درست باشد و در میان آن‌ها یک یا چند ادعای کاملا نادرست نیز قرار گرفته باشد.

چرا به آن «توهم» گفته می‌شود؟

واژه Hallucination در اینجا یک اصطلاح استعاری است و نباید آن را با مفهوم توهم در روان‌شناسی یا پزشکی یکسان دانست. در هوش مصنوعی، این اصطلاح برای توصیف خروجی‌هایی به کار می‌رود که ظاهری معتبر دارند اما با اطلاعات واقعی سازگار نیستند؛ گویی مدل اطلاعاتی را ارائه می‌دهد که مبنای واقعی ندارند.

البته استفاده از واژه «توهم» به این معنا نیست که یک مدل هوش مصنوعی دارای ذهن، احساس، آگاهی یا تجربه انسانی است. مدل‌های زبانی بر اساس ساختارهای ریاضی و الگوهای آماری کار می‌کنند و تولید اطلاعات نادرست به معنای داشتن تجربه ذهنی یا درک اشتباه از واقعیت نیست.

آیا AI Hallucination همان دروغ گفتن هوش مصنوعی است؟

خیر. میان توهم هوش مصنوعی و دروغ گفتن تفاوت مهمی وجود دارد و این تفاوت به مفهوم نیت مربوط می‌شود.

دروغ گفتن در حالت معمول به آگاهی از واقعیت و تلاش عمدی برای ارائه اطلاعات نادرست با هدف فریب دادن دیگران نیاز دارد. یک مدل زبانی چنین نیتی ندارد. وقتی مدل اطلاعات اشتباهی تولید می‌کند، نمی‌داند که آن اطلاعات نادرست هستند و قصد فریب کاربر را هم ندارد.

به همین دلیل، از نظر فنی بهتر است برای چنین خطایی از اصطلاح «توهم» یا «تولید اطلاعات نادرست» استفاده کنیم، نه «دروغ گفتن».

یک مثال ساده از AI Hallucination

برای درک بهتر موضوع، فرض کنید از یک مدل زبانی بپرسید: «کتاب بررسی شبکه‌های کامپیوتری نوشته جیمز کوروس در چه سالی برنده جایزه نوبل ادبیات شد؟»

در این سوال یک پیش‌فرض اشتباه وجود دارد؛ زیرا کتاب‌های تخصصی حوزه مهندسی شبکه نامزد یا برنده جایزه نوبل ادبیات نمی‌شوند. یک پاسخ مناسب باید ابتدا همین فرض نادرست را تشخیص دهد.

با این حال، یک مدل ممکن است به‌جای اصلاح سوال، پاسخی ساختگی مانند این تولید کند: «کتاب بررسی شبکه‌های کامپیوتری نوشته جیمز کوروس در سال ۲۰۱۵ به دلیل روان بودن متن و آموزش مفاهیم پیچیده شبکه به زبان ساده، موفق به دریافت جایزه نوبل ادبیات شد.»

این پاسخ از نظر جمله‌بندی طبیعی است، اما تمام ادعای اصلی آن ساختگی است. مدل در این حالت به‌جای تشخیص مشکل موجود در سوال، بر اساس الگوهای زبانی مرتبط با «برنده شدن جایزه نوبل» پاسخی تولید کرده است که ظاهری معتبر دارد.

چرا هوش مصنوعی دچار Hallucination می‌شود؟

برای درک علت توهم در مدل‌های زبانی باید بدانیم این مدل‌ها چگونه پاسخ تولید می‌کنند. برخلاف تصور رایج، یک مدل زبانی مانند یک دایرةالمعارف عمل نمی‌کند که مجموعه‌ای از حقایق را به‌صورت مرتب در اختیار داشته باشد و هنگام پرسش کاربر، پاسخ صحیح را از میان آن‌ها پیدا کند.

مدل‌های زبانی چگونه پاسخ تولید می‌کنند؟

مدل‌های زبانی بزرگ شبکه‌های عصبی هستند که روی حجم بسیار زیادی از متن آموزش می‌بینند. یکی از وظایف اصلی آن‌ها یادگیری الگوهای موجود میان توکن‌ها و پیش‌بینی توکن بعدی بر اساس توکن‌های قبلی است.

وقتی کاربر سوالی را وارد می‌کند، مدل بر اساس الگوهایی که آموخته است احتمال ادامه‌های مختلف را محاسبه می‌کند و پاسخ را به‌صورت مرحله‌به‌مرحله تولید می‌کند. بنابراین، سازوکار تولید متن در یک مدل زبانی با جست‌وجوی مستقیم در یک پایگاه داده از حقایق تفاوت دارد.

به همین دلیل، روان و منطقی بودن یک پاسخ به‌تنهایی تضمین نمی‌کند که تمام اطلاعات آن درست باشد.

چرا مدل وقتی جواب را نمی‌داند، ممکن است چیزی بسازد؟

مدل‌های زبانی معمولا برای پاسخ‌گویی به درخواست کاربر آموزش داده شده‌اند. اگر مدل اطلاعات کافی درباره یک موضوع نداشته باشد یا سوال درباره موضوعی مبهم و ناشناخته باشد، ممکن است به‌جای اعلام ناتوانی، بر اساس الگوهای مشابهی که در داده‌های آموزشی دیده است پاسخی تولید کند.

به چنین خروجی‌ای گاهی عبارت «Plausible but false» گفته می‌شود؛ یعنی پاسخی که از نظر ظاهری موجه و منطقی است، اما با واقعیت مطابقت ندارد.

نقش داده‌های آموزشی

کیفیت، تنوع و به‌روز بودن داده‌هایی که مدل با آن‌ها آموزش می‌بیند می‌تواند بر کیفیت پاسخ‌های آن تاثیر بگذارد. چند عامل مهم در این زمینه عبارت‌اند از:

• ناقص بودن داده‌ها: اگر اطلاعات کافی درباره یک موضوع در داده‌های آموزشی وجود نداشته باشد، مدل ممکن است هنگام پاسخ‌گویی به تعمیم یا حدس متوسل شود.
• قدیمی بودن داده‌ها: اطلاعات بسیاری از حوزه‌ها دائما تغییر می‌کنند. اگر مدل به اطلاعات جدید دسترسی نداشته باشد، ممکن است درباره رویدادها یا شرایط جدید بر اساس اطلاعات قدیمی پاسخ دهد.
• تناقض میان منابع: اینترنت حاوی اطلاعات متناقض و حتی نادرست است. وجود ادعاهای متفاوت درباره یک موضوع می‌تواند پاسخ‌گویی مدل را دشوارتر کند.
• داده‌های بی‌کیفیت: شایعات، مطالب نادرست و محتوای کم‌اعتبار موجود در داده‌های آموزشی نیز می‌توانند بر کیفیت خروجی تاثیر بگذارند.

ابهام در سوال کاربر

هرچه سوال یا پرامپت کاربر مبهم‌تر باشد، احتمال تفسیر اشتباه آن بیشتر می‌شود. اگر مشخص نباشد کاربر دقیقا چه اطلاعاتی می‌خواهد، مدل باید بر اساس فرضیات مختلف پاسخ تولید کند و همین مسئله می‌تواند احتمال ورود اطلاعات نادرست به پاسخ را افزایش دهد.

برای مثال، پرسش «بهترین سرور برای سایت من چیست؟» اطلاعات کافی درباره نوع سایت، تعداد بازدیدکنندگان، بودجه یا نیازهای فنی ارائه نمی‌کند. در چنین شرایطی پاسخ مدل ناگزیر بر اساس فرضیات شکل می‌گیرد.

محدودیت Context

مدل‌های زبانی دارای محدوده‌ای برای پردازش اطلاعات ورودی هستند که معمولا با اصطلاح Context Window شناخته می‌شود. اگر حجم اطلاعات یک مکالمه یا سند از ظرفیت قابل پردازش مدل فراتر برود، ممکن است مدل نتواند تمام اطلاعات قبلی را به‌درستی در نظر بگیرد.

همچنین اگر اطلاعات لازم از ابتدا در اختیار مدل قرار نگرفته باشد، ممکن است مدل برای تکمیل بخش‌های ناقص پاسخ، از الگوهای آماری استفاده کند و در نتیجه اطلاعات نادرست تولید شود.

Temperature و پارامترهای تولید

Temperature یکی از پارامترهایی است که در برخی مدل‌ها و رابط‌های برنامه‌نویسی برای کنترل میزان تصادفی بودن انتخاب توکن‌ها استفاده می‌شود. مقدار بالاتر این پارامتر معمولا تنوع بیشتری در خروجی ایجاد می‌کند و مقدار پایین‌تر، خروجی را قابل پیش‌بینی‌تر می‌کند.

برای کارهای خلاقانه، مقدار بالاتر Temperature می‌تواند مفید باشد؛ اما در کارهایی که دقت اهمیت بیشتری دارد، معمولا از تنظیمات محافظه‌کارانه‌تر استفاده می‌شود.

با این حال، نباید تصور کرد که کاهش Temperature می‌تواند توهم را به‌طور کامل از بین ببرد. حتی در تنظیمات بسیار پایین نیز مدل ممکن است اطلاعات نادرست تولید کند؛ زیرا مشکل توهم فقط به میزان تصادفی بودن خروجی محدود نمی‌شود.

انواع توهم هوش مصنوعی چیست؟

توهم در مدل‌های هوش مصنوعی شکل‌های مختلفی دارد و همیشه به تولید یک واقعیت کاملا ساختگی محدود نمی‌شود. برخی از رایج‌ترین نمونه‌ها عبارت‌اند از:

• توهم اطلاعاتی: تولید آمار، تاریخ، ارقام یا رویدادهای نادرست. برای مثال، مدل ممکن است تاریخ وقوع یک جنگ یا آمار اقتصادی یک کشور را اشتباه اعلام کند.
• توهم منبع: معرفی کتاب، مقاله، گزارش یا وب‌سایتی که در واقع وجود ندارد. یکی از خطرناک‌ترین نمونه‌ها، ساخت DOI یا ارجاع علمی جعلی است.
• توهم نقل‌قول: نسبت دادن جمله، دیدگاه یا نظریه‌ای به یک فرد در حالی که آن شخص چنین حرفی نزده است.
• توهم موجودیت: اشتباه گرفتن افراد، شرکت‌ها، برندها یا مکان‌های مشابه با یکدیگر. برای مثال، مدل ممکن است سوابق دو مدیر با نام مشابه را با هم ترکیب کند.
• توهم در برنامه‌نویسی: پیشنهاد کتابخانه، تابع، API یا پارامتری که وجود خارجی ندارد اما نام آن از نظر فنی کاملا منطقی به نظر می‌رسد. برای آشنایی با ابزارهای هوش مصنوعی برنامه‌نویسی، مقاله مورد نظر را مطالعه کنید.
• توهم استدلالی: زمانی که بخشی از اطلاعات اولیه درست است اما مدل در روند استدلال از آن‌ها به نتیجه‌ای نادرست می‌رسد.

چرا پاسخ‌های hallucinated این‌قدر واقعی به نظر می‌رسند؟

خطر اصلی توهم فقط تولید اطلاعات نادرست نیست؛ بلکه نحوه ارائه این اطلاعات است. مدل ممکن است یک ادعای اشتباه را با همان لحن و ساختاری بیان کند که برای یک واقعیت کاملا درست به کار می‌برد.

زبان طبیعی و لحن مطمئن مدل

مدل‌های زبانی برای تولید متن طبیعی و شبیه به نوشته انسان آموزش دیده‌اند. به همین دلیل پاسخ آن‌ها معمولا روان، منظم و از نظر دستوری درست است.

کاربر نیز به‌صورت طبیعی ممکن است لحن مطمئن را با تسلط بر موضوع اشتباه بگیرد. در نتیجه، اگر مدل اطلاعات نادرستی را با جمله‌بندی دقیق و قاطع ارائه کند، احتمال پذیرش آن بدون بررسی بیشتر افزایش پیدا می‌کند.

جزئیات زیاد همیشه نشانه درست بودن نیست

یکی از ترفندهای ناخواسته‌ای که باعث باورپذیر شدن پاسخ‌های نادرست می‌شود، ارائه جزئیات زیاد است. مدل می‌تواند نام نویسنده، تاریخ دقیق، شماره صفحه، عنوان مقاله، لینک یا شناسه‌ای را تولید کند که کاملا ساختگی است.

وجود این جزئیات نباید به‌عنوان نشانه صحت پاسخ در نظر گرفته شود. اتفاقا هرچه یک ادعای دقیق‌تر و غیرمنتظره‌تر باشد، اهمیت بررسی مستقل آن بیشتر است.

مشکل «اطمینان کاذب»

مدل ممکن است پاسخ خود را با عبارت‌هایی مانند «بر اساس تحقیقات انجام‌شده در سال ۲۰۲۳» یا «طبق گزارش منتشرشده توسط…» آغاز کند. چنین عبارتی در نگاه اول حس وجود یک منبع معتبر را ایجاد می‌کند، اما خود این ادعا نیز باید بررسی شود.

صرف اشاره به یک پژوهش، سازمان یا گزارش به این معنا نیست که منبع موردنظر واقعا وجود دارد.

چگونه متوجه شویم پاسخ AI دچار Hallucination شده است؟

برای جلوگیری از پذیرش اطلاعات ساختگی، بهتر است پاسخ‌های هوش مصنوعی را به‌خصوص در موضوعات حساس، مانند یک منبع اولیه در نظر نگیریم. چند روش ساده می‌تواند احتمال پذیرش اطلاعات نادرست را کاهش دهد.

روش‌های عملی ارزیابی خروجی

• بررسی منابع: اگر مدل نام کتاب، مقاله یا وب‌سایتی را ذکر کرد، نام آن را جداگانه در منابع معتبر جست‌وجو کنید.
• بررسی لینک‌ها: لینک‌هایی را که مدل ارائه می‌کند باز کنید و مطمئن شوید صفحه موردنظر واقعا وجود دارد و محتوای آن با ادعای مطرح‌شده مطابقت دارد.
• بررسی DOI و مقالات علمی: شناسه DOI را در پایگاه‌هایی مانند Crossref یا Google Scholar جست‌وجو کنید.
• مقایسه با منابع معتبر: آمارها، تاریخ‌ها، فرمول‌ها و ادعاهای مهم را با منابع معتبر همان حوزه تطبیق دهید.
• مقایسه پاسخ چند مدل: می‌توانید یک پرسش مشخص را از چند مدل مختلف بپرسید. تفاوت جدی در پاسخ‌ها می‌تواند نشانه‌ای برای بررسی بیشتر باشد، هرچند توافق چند مدل نیز به‌تنهایی صحت یک ادعا را ثابت نمی‌کند.
• درخواست منبع: از مدل بخواهید برای ادعاهای مهم منبع ارائه کند و سپس خودتان وجود و اعتبار آن منابع را بررسی کنید.
• توجه به جزئیات غیرعادی: آمارهای بسیار دقیق، ادعاهای عجیب یا اطلاعاتی که بررسی آن‌ها دشوار است، باید با دقت بیشتری ارزیابی شوند.

یک قانون ساده برای اعتبارسنجی

اگر هوش مصنوعی ادعایی دقیق، عجیب، غیرمنتظره یا غیرقابل‌باور ارائه کرد، آن را بدون بررسی مستقل و مراجعه به منبع اصلی به‌عنوان واقعیت نپذیرید.

آیا می‌توان از AI Hallucination جلوگیری کرد؟

پاسخ کوتاه این است که حذف کامل توهم در مدل‌های زبانی فعلی ممکن نیست. با این حال، می‌توان با طراحی بهتر فرایند استفاده از مدل، دسترسی آن به منابع معتبر و بررسی خروجی، احتمال بروز و تاثیر این خطاها را کاهش داد.

راهکارهای کاربردی برای کاهش توهم

• پرامپت دقیق بنویسید: درخواست‌های واضح و مشخص، فضای کمتری برای تفسیرهای اشتباه باقی می‌گذارند.
• اطلاعات موردنیاز را در اختیار مدل قرار دهید: اگر سند یا متن مرجعی دارید، آن را در اختیار مدل قرار دهید و مشخص کنید که پاسخ باید بر اساس همان اطلاعات باشد.
• از مدل بخواهید در صورت نداشتن اطلاعات صادقانه اعلام کند: برای مثال می‌توانید در دستور خود بنویسید: «اگر اطلاعات کافی برای پاسخ نداری، صریحا بگو نمی‌دانم و اطلاعاتی از خودت اضافه نکن.»
• برای ادعاهای مهم منبع بخواهید: درخواست منبع می‌تواند فرایند بررسی را ساده‌تر کند، اما خود منابع ارائه‌شده توسط مدل نیز باید بررسی شوند.
• از RAG استفاده کنید: اتصال مدل به یک پایگاه دانش یا مجموعه اسناد معتبر می‌تواند اطلاعات مورد استفاده برای تولید پاسخ را کنترل کند.
• مدل را به ابزارهای جست‌وجو و پایگاه‌های داده متصل کنید: دسترسی به اطلاعات به‌روز می‌تواند در موضوعاتی مانند اخبار، قیمت‌ها و آمارهای جدید مفید باشد.
• خروجی‌های حساس را انسانی بررسی کنید: در حوزه‌هایی مانند پزشکی، حقوق، امور مالی و امنیت، بررسی نهایی توسط فرد متخصص اهمیت زیادی دارد.

RAG چگونه به کاهش Hallucination کمک می‌کند؟

یکی از روش‌های رایج برای کاهش توهم در سامانه‌های مبتنی بر هوش مصنوعی، معماری Retrieval-Augmented Generation یا RAG است. در این روش، مدل فقط به اطلاعاتی که در فرایند آموزش آموخته متکی نیست و پیش از تولید پاسخ، اطلاعات مرتبط را از یک منبع خارجی بازیابی می‌کند.

فرایند کلی RAG را می‌توان به شکل زیر در نظر گرفت:

User Query

↓

Retrieval؛ جست‌وجو در منبع یا پایگاه داده

↓

Relevant Documents؛ استخراج اسناد مرتبط

↓

LLM؛ استفاده از اسناد برای تولید پاسخ

↓

Answer؛ ارائه پاسخ

در یک سامانه RAG، پرسش کاربر ابتدا برای پیدا کردن اطلاعات مرتبط به یک پایگاه دانش، موتور جست‌وجو یا مخزن اسناد ارسال می‌شود. سپس اسناد مرتبط در اختیار مدل قرار می‌گیرند تا پاسخ بر اساس اطلاعات بازیابی‌شده تولید شود.

این روش به‌خصوص زمانی مفید است که مدل باید بر اساس مجموعه‌ای مشخص از اسناد، مانند مستندات فنی، مقالات داخلی یا اطلاعات محصولات یک شرکت، پاسخ دهد.

با این حال، RAG نیز راه‌حل قطعی برای توهم نیست. ممکن است سیستم بازیابی اسناد نامرتبط یا ناقص را انتخاب کند. از طرف دیگر، حتی اگر اسناد درست بازیابی شده باشند، مدل ممکن است هنگام تفسیر یا خلاصه‌سازی آن‌ها دچار خطا شود.

بنابراین RAG می‌تواند احتمال توهم را کاهش دهد، اما تضمین نمی‌کند که خروجی همیشه درست باشد.

آیا ChatGPT، Gemini و Claude هم Hallucination دارند؟

بله. هیچ مدل زبانی بزرگی را نمی‌توان کاملا مصون از تولید اطلاعات نادرست دانست. شدت و نوع این خطا بسته به مدل، نسخه، نوع پرسش، منابع در دسترس و نحوه استفاده از سیستم متفاوت است.

وضعیت توهم در مدل‌های مطرح

ChatGPT، Gemini و Claude همگی ممکن است در شرایط مختلف اطلاعات نادرست تولید کنند. برای مثال، پرسش‌های تخصصی، اطلاعات بسیار جدید، منابع کم‌دسترس یا درخواست‌هایی که نیازمند ارجاع دقیق هستند می‌توانند زمینه بروز خطا را فراهم کنند.

تفاوت میان مدل‌ها بیشتر به میزان و نوع خطا، روش آموزش، دسترسی به ابزارهای بیرونی و عملکرد آن‌ها در وظایف مختلف مربوط می‌شود. بنابراین نمی‌توان صرفا بر اساس نام یک مدل نتیجه گرفت که پاسخ آن همیشه قابل اعتمادتر از سایر مدل‌هاست.

آیا یک مدل کاملا بدون Hallucination وجود دارد؟

خیر. در حال حاضر نمی‌توان مدلی را معرفی کرد که نرخ تولید اطلاعات نادرست آن دقیقا صفر باشد.

البته این به معنای یکسان بودن عملکرد مدل‌ها نیست. مدل‌های مختلف می‌توانند در وظایف متفاوت نرخ خطای متفاوتی داشته باشند و استفاده از ابزارهایی مانند جست‌وجوی وب، RAG و سامانه‌های اعتبارسنجی می‌تواند دقت خروجی را افزایش دهد.

تاثیر AI Hallucination بر تولید محتوا و SEO

استفاده از هوش مصنوعی در تولید محتوا می‌تواند سرعت تحقیق و نگارش را افزایش دهد، اما انتشار مستقیم خروجی مدل بدون بررسی می‌تواند به اعتبار یک وب‌سایت آسیب بزند.

مخاطرات توهم در سئو و محتوا

• تولید محتوای حاوی اطلاعات نادرست: انتشار ادعاهای اشتباه می‌تواند اعتماد مخاطبان را کاهش دهد.
• منابع و لینک‌های جعلی: ارجاع به مقاله یا وب‌سایتی که وجود ندارد، اعتبار محتوا را زیر سوال می‌برد.
• آمارهای ساختگی: استفاده از اعداد و آمار بدون بررسی منبع می‌تواند اعتبار مقاله را کاهش دهد.
• اشتباه در نام‌ها و موجودیت‌ها: ترکیب اطلاعات مربوط به شرکت‌ها، محصولات یا افراد مختلف می‌تواند محتوایی گمراه‌کننده ایجاد کند.
• کاهش اعتبار محتوا: اطلاعات نادرست می‌تواند اعتماد مخاطب و در نتیجه اعتبار کلی وب‌سایت را تحت تاثیر قرار دهد.

چرا Fact-checking در محتوای AI-generated مهم است؟

محتوای تولیدشده با هوش مصنوعی باید مانند هر محتوای دیگری از نظر صحت اطلاعات بررسی شود. این موضوع در مقاله‌های تخصصی اهمیت بیشتری دارد؛ زیرا یک اشتباه کوچک در نام محصول، آمار، تاریخ یا دستورالعمل فنی می‌تواند بخش بزرگی از اعتبار محتوا را از بین ببرد.

بنابراین، استفاده از هوش مصنوعی برای تحقیق و نگارش به معنای حذف مرحله بررسی نیست. نویسنده باید ادعاهای مهم، منابع، اعداد و اطلاعات حساس را پیش از انتشار بررسی کند.

آیا محتوای تولیدشده توسط AI ذاتا مشکل SEO دارد؟

خیر. استفاده از هوش مصنوعی به‌خودی‌خود به معنای بی‌کیفیت یا نامناسب بودن محتوا نیست. مسئله اصلی کیفیت و ارزش واقعی محتوایی است که در نهایت در اختیار کاربر قرار می‌گیرد.

اگر محتوای تولیدشده با AI حاوی اطلاعات نادرست، تکراری، سطحی یا بدون ارزش افزوده باشد، می‌تواند به کیفیت سایت آسیب بزند. در مقابل، استفاده کنترل‌شده از AI برای تحقیق، ایده‌پردازی و کمک به تولید محتوا، همراه با بررسی و ویرایش انسانی، می‌تواند بخشی از یک فرایند تولید محتوای حرفه‌ای باشد.

AI Hallucination در چه حوزه‌هایی خطرناک‌تر است؟

خطر توهم هوش مصنوعی در همه حوزه‌ها یکسان نیست. اهمیت یک خطا بیشتر به پیامد آن بستگی دارد. اشتباه در یک متن سرگرمی معمولا پیامد محدودی دارد، اما همان میزان خطا در پزشکی یا امور مالی می‌تواند خسارت جدی ایجاد کند.

حوزه	سطح ریسک	علت حساسیت
پزشکی و سلامت	بسیار بالا	اطلاعات یا توصیه‌های نادرست می‌توانند سلامت فرد را به خطر بیندازند.
حقوق و امور قضایی	بسیار بالا	استناد به قوانین یا پرونده‌های ساختگی می‌تواند پیامد حقوقی داشته باشد.
مالی و سرمایه‌گذاری	بسیار بالا	تحلیل‌ها و آمارهای نادرست ممکن است به زیان مالی منجر شوند.
امنیت سایبری	بالا	کد یا پیکربندی اشتباه می‌تواند یک سیستم را در معرض خطر قرار دهد.
برنامه‌نویسی	متوسط تا بالا	استفاده از API یا کتابخانه‌های ناموجود و کدهای نادرست می‌تواند باعث خطا شود.
تولید محتوا و سئو	متوسط	اطلاعات نادرست می‌تواند اعتبار برند و کیفیت محتوا را کاهش دهد.
سرگرمی و بازی‌سازی	پایین	در برخی فرایندهای خلاقانه، خروجی نادرست می‌تواند صرفا به‌عنوان یک ایده بررسی شود.

نمونه‌های واقعی و معروف AI Hallucination

توهم هوش مصنوعی فقط یک مشکل نظری نیست و نمونه‌های واقعی آن نیز در سال‌های اخیر خبرساز شده‌اند.

پرونده حقوقی Mata v. Avianca

در سال ۲۰۲۳، وکلای یک پرونده در ایالات متحده برای تهیه اسناد حقوقی از ChatGPT استفاده کردند. در جریان این فرایند، مدل چندین پرونده و سابقه قضایی را معرفی کرد که در واقع وجود نداشتند. این منابع بدون بررسی کافی در اسناد ارائه‌شده به دادگاه قرار گرفتند و پس از بررسی مشخص شد که اطلاعات ارائه‌شده ساختگی بوده‌اند.

این پرونده یکی از نمونه‌های شناخته‌شده خطر استفاده از خروجی مدل‌های زبانی بدون راستی‌آزمایی در حوزه‌های حساس است.

اشتباه معروف Google Bard درباره تلسکوپ جیمز وب

در جریان معرفی عمومی Bard، مدل در پاسخ به پرسشی درباره کشفیات تلسکوپ فضایی جیمز وب، ادعایی نادرست درباره ثبت نخستین تصاویر سیارات خارج از منظومه شمسی مطرح کرد.

این پاسخ اشتباه در همان زمان توجه زیادی به خود جلب کرد و نشان داد حتی در یک دموی رسمی نیز مدل هوش مصنوعی ممکن است اطلاعات نادرستی تولید کند.

آیا Hallucination به معنی «احمق بودن» هوش مصنوعی است؟

خیر. توهم هوش مصنوعی را نمی‌توان به ساده بودن یا احمق بودن مدل نسبت داد. مسئله اصلی به تفاوت میان نحوه کار مدل‌های آماری و درک انسانی از جهان مربوط می‌شود.

یک مدل زبانی می‌تواند در یک وظیفه پیچیده برنامه‌نویسی عملکرد بسیار خوبی داشته باشد و هم‌زمان در پاسخ به یک پرسش ساده درباره تاریخ انتشار یک محصول اشتباه کند. این رفتار در نگاه اول متناقض به نظر می‌رسد، اما از تفاوت میان وظایفی که مدل برای آن‌ها آموزش دیده و نحوه تولید پاسخ ناشی می‌شود.

به همین دلیل، توانایی مدل در تولید متن روان یا حل یک مسئله پیچیده نباید به معنای درست بودن همه پاسخ‌های آن تلقی شود.

چگونه از هوش مصنوعی قابل اعتمادتر استفاده کنیم؟

برای استفاده حرفه‌ای از ابزارهای هوش مصنوعی بهتر است یک فرایند مشخص برای بررسی خروجی داشته باشیم. یک جریان کاری ساده می‌تواند شامل مراحل زیر باشد:

Ask؛ ارائه درخواست دقیق

↓

Request Sources؛ درخواست منابع

↓

Verify؛ بررسی منابع

↓

Cross-check؛ تطبیق با منابع معتبر

↓

Use؛ استفاده از پاسخ پس از بررسی

نمونه جریان کاری استاندارد برای تولید مقاله

• مرحله ۱؛ تحقیق: استفاده از AI برای ایده‌پردازی، پیدا کردن موضوعات مرتبط و ایجاد ساختار اولیه.
• مرحله ۲؛ دریافت منابع: درخواست منابع برای ادعاها و اطلاعات مهم.
• مرحله ۳؛ بررسی منابع: بررسی لینک‌ها، نام‌ها، آمار و شناسه‌های علمی در منابع اصلی.
• مرحله ۴؛ استخراج اطلاعات تاییدشده: جدا کردن اطلاعاتی که صحت آن‌ها بررسی شده است از پیشنهادها و مطالب تولیدشده توسط AI.
• مرحله ۵؛ تولید محتوا: نگارش متن اصلی بر اساس اطلاعات تاییدشده.
• مرحله ۶؛ بررسی نهایی: خواندن کامل مقاله و بررسی ادعاهای مهم پیش از انتشار.
• مرحله ۷؛ انتشار: انتشار محتوا پس از اطمینان از صحت و کیفیت آن.

آینده AI و مشکل Hallucination

کاهش توهم یکی از موضوعات مهم در توسعه مدل‌های هوش مصنوعی است. با بهتر شدن مدل‌ها، دسترسی آن‌ها به منابع بیرونی و توسعه روش‌های اعتبارسنجی، می‌توان انتظار داشت میزان خطا در بسیاری از کاربردها کاهش پیدا کند.

با این حال، انتظار حذف کامل این مشکل منطقی نیست. مدل‌های زبانی همچنان سیستم‌هایی هستند که خروجی را بر اساس الگوهای آماری تولید می‌کنند و در برخی شرایط ممکن است پاسخ نادرست ارائه دهند.

آیا Hallucination در مدل‌های آینده از بین می‌رود؟

احتمالا مدل‌های آینده در تشخیص عدم اطمینان، استفاده از منابع بیرونی و ارزیابی پاسخ عملکرد بهتری خواهند داشت، اما نمی‌توان با اطمینان گفت که توهم به‌طور کامل از بین خواهد رفت.

هدف مهم‌تر، کاهش احتمال خطا و ایجاد سازوکارهایی است که مدل بتواند در صورت نبود اطلاعات کافی، به‌جای ساختن پاسخ، عدم اطمینان خود را اعلام کند.

فناوری‌های کلیدی برای کاهش توهم

• توسعه RAG: بهبود روش‌های بازیابی اطلاعات و اتصال مدل‌ها به پایگاه‌های دانش معتبر.
• جست‌وجوی وب: اتصال مدل به منابع زنده برای بررسی اطلاعاتی که به‌سرعت تغییر می‌کنند.
• Agentها: سیستم‌های عامل‌محور می‌توانند یک وظیفه را به چند مرحله تقسیم کنند و در برخی معماری‌ها خروجی مراحل قبلی را بررسی کنند.
• Verification و Grounding: اتصال مدل به منابع معتبر، پایگاه‌های داده و گراف‌های دانش برای افزایش قابلیت بررسی پاسخ‌ها.
• بررسی انسانی: در کاربردهای حساس، کنترل نهایی توسط انسان همچنان یکی از مهم‌ترین لایه‌های اطمینان از صحت خروجی خواهد بود.

در نهایت، آینده هوش مصنوعی فقط به ساخت مدل‌های بزرگ‌تر با تعداد پارامترهای بیشتر محدود نمی‌شود. بخش مهمی از پیشرفت این فناوری به ساخت سیستم‌هایی مربوط است که بتوانند پاسخ‌های خود را به منابع معتبر، داده‌های به‌روز و اطلاعات قابل بررسی متصل کنند.

توهم هوش مصنوعی احتمالا همچنان یکی از محدودیت‌های مهم مدل‌های زبانی باقی خواهد ماند، اما با ترکیب مدل‌های بهتر، منابع معتبر، ابزارهای جست‌وجو، RAG و فرایندهای دقیق راستی‌آزمایی می‌توان تاثیر آن را تا حد زیادی کنترل کرد.