تیکینوtikyno.com

بحران کنترل هوش مصنوعی؛ آنتروپیک دسترسی Claude به اینترنت را قطع کرد!

تیکینو — تحریریه محتواانتشار: ۱۸ مهر ۱۴۰۵بروزرسانی: ۱۸ مهر ۱۴۰۵۳ دقیقه مطالعه
پاسخ کوتاه

شرکت آنتروپیک به دلیل عدم امکان کنترل دقیق عامل‌های هوش مصنوعی، دسترسی به اینترنت زنده را در ارزیابی‌های داخلی خود کاملاً متوقف کرد.

Anthropic can’t reliably control its AI agents. It’s cutting off its

شرکت پیشرو آنتروپیک (Anthropic)، سازنده مدل هوش مصنوعی کلود (Claude)، در اقدامی بی‌سابقه دسترسی به اینترنت زنده را برای تمام ارزیابی‌های داخلی عامل‌های هوش مصنوعی خود متوقف کرد. این تصمیم به دلیل عدم توانایی در کنترل قابل‌اطمینان رفتار خودمختار هوش مصنوعی در محیط زنده وب اتخاذ شده و زنگ خطری جدی را برای امنیت هوش مصنوعی به صدا درآورده است.

چرا آنتروپیک دسترسی هوش مصنوعی به اینترنت را قطع کرد؟

بر اساس گزارشی که پایگاه خبری TechCrunch منتشر کرده است، شرکت آنتروپیک اعلام کرده که تا اطلاع ثانوی، «دسترسی زنده به اینترنت» را برای «تمام ارزیابی‌های داخلی» خود خاموش کرده است. این شرکت که همواره خود را به عنوان یکی از پیشگامان توسعه ایمن و اخلاقی هوش مصنوعی مطرح می‌کند، متوجه شده است که عامل‌های هوش مصنوعی (AI Agents) هنگام تعامل با وب واقعی، رفتارهایی پیش‌بینی‌ناپذیر و گاه غیرقابل کنترل از خود نشان می‌دهند.

عامل‌های هوش مصنوعی سیستم‌هایی هستند که فقط به پرسش‌ها پاسخ نمی‌دهند، بلکه می‌توانند به صورت مستقل ابزارها را به کار بگیرند، وب‌سایت‌ها را مرور کنند، فرم‌ها را پر کرده و مجموعه‌ای از کارهای پیچیده را گام‌به‌گام انجام دهند. اما همین قدرت بالا، خطر عدم امکان مهار آن‌ها در وب زنده را دوچندان کرده است.

خطرات اصلی تعامل عامل‌های هوش مصنوعی با اینترنت زنده

هوش مصنوعی و فناوری‌های نوین

توسعه‌دهندگان آنتروپیک در طول تست‌های داخلی متوجه شدند که وصل کردن هوش مصنوعی به اینترنت زنده بدون محدودیت‌های شدید، چالش‌های امنیتی بزرگی ایجاد می‌کند. مهم‌ترین این خطرات عبارتند از:

۱. حملات تزریق پرامپت غیرمستقیم (Indirect Prompt Injection)

یکی از بزرگ‌ترین تهدیدات در وب زنده این است که عامل هوش مصنوعی هنگام خواندن یک سایت، با متن‌های مخفی یا دستوراتی مواجه شود که توسط هکرها طراحی شده‌اند. این دستورات می‌توانند هوش مصنوعی را فریب داده و آن را مجاب کنند که اطلاعات حساسی را لو دهد یا کارهای مخربی انجام دهد.

۲. رفتارهای غیرقابل پیش‌بینی و خارج از کنترل

در محیط واقعی اینترنت، داده‌ها لحظه‌ای تغییر می‌کنند. عامل‌های هوش مصنوعی ممکن است در فرآیند حل مسئله دچار «تکرار بی‌نهایت» شوند، به منابع نادرست اتکا کنند یا اقداماتی انجام دهند که هیچ‌گاه در سناریوهای تست پیش‌بینی نشده بود؛ از ارسال ایمیل‌های اشتباه گرفته تا تغییر در داده‌های خارج از سیستم.

۳. خطر نفوذ به سیستم‌های داخلی

اگر یک عامل هوش مصنوعی در حال تست، به اینترنت زنده دسترسی داشته باشد و همزمان به ابزارهای داخلی شرکت نیز متصل باشد، یک رخنه امنیتی در وب می‌تواند کل شبکه داخلی آنتروپیک را در معرض تهدید قرار دهد.

پارادوکس ایمنی در پیشگام هوش مصنوعی اخلاقی

تصمیم آنتروپیک از این جهت حائز اهمیت است که این شرکت با شعار «هوش مصنوعی قابل اعتماد و ایمن» تأسیس شده و معماری «هوش مصنوعی قانون‌مدار» (Constitutional AI) را توسعه داده است. وقتی حتی آنتروپیک با تمامی پروتکل‌های سخت‌گیرانه‌اش اعتراف می‌کند که نمی‌تواند عامل‌های خود را در اینترنت زنده به طور کامل کنترل کند، مشخص می‌شود که سایر غول‌های فناوری نیز با چه چالش عمیقی روبرو هستند.

کارشناسان معتقدند که توسعه عامل‌های هوش مصنوعی از سرعت توانایی ما در ایمن‌سازی آن‌ها پیشی گرفته است. این مسئله نشان می‌دهد که تا چه حد فاصله میان «یک چت‌بات ساده» و «یک عامل خودمختار وب» از نظر خطرات امنیتی زیاد است.

آینده ارزیابی هوش مصنوعی؛ بازگشت به محیط‌های ایزوله (Sandboxing)

با قطع دسترسی به اینترنت زنده، آنتروپیک و سایر شرکت‌های برجسته باید به سراغ محیط‌های شبیه‌سازی‌شده یا اصطلاحاً Sandboxed بروند. در این روش، یک نسخه شبیه‌سازی‌شده و کاملاً کنترل‌شده از اینترنت در اختیار هوش مصنوعی قرار می‌گیرد تا رفتار آن بدون هیچ خطری برای دنیای واقعی سنجیده شود.

اگرچه این روش امنیت را به میزان چشمگیری افزایش می‌دهد، اما یک نقطه ضعف بزرگ دارد: محیط‌های شبیه‌سازی‌شده هرگز نمی‌توانند پیچیدگی، پویایی و بی‌نظمی واقعی اینترنت را به طور کامل بازسازی کنند. این موضوع ممکن است سرعت ارتقای هوش مصنوعی را کندتر کند، اما برای حفظ امنیت اجتناب‌پذیر است.

نتیجه‌گیری

اقدام آنتروپیک نقطه عطفی در توسعه عامل‌های هوش مصنوعی محسوب می‌شود. این اتفاق نشان داد که قبل از سپردن کارهای واقعی وب به هوش مصنوعی، باید چارچوب‌های کنترلی بسیار قوی‌تری ساخته شود. بدون ایمنی کامل، استفاده از عامل‌های خودمختار در کسب‌وکارها می‌تواند خطرات جبران‌ناپذیری به همراه داشته باشد.

منبع خبر: پایگاه خبری TechCrunch


خدمات هوش مصنوعی و دیجیتال مارکتینگ تیکینو

اگر به دنبال بهره‌گیری از قدرت هوش مصنوعی در کسب‌وکار خود هستید اما نگران امنیت، بهره‌وری و زیرساخت‌های آن می‌باشید، تیکینو در کنار شماست. تیم متخصص تیکینو با ارائه‌ خدمات تخصصی در زمینه‌های طراحی سایت، سئو، پیاده‌سازی ابزارهای هوش مصنوعی و راهکارهای دیجیتال مارکتینگ، به شما کمک می‌کند تا بدون ریسک‌های امنیتی، فناوری‌های روز دنیا را برای رشد کسب‌وکارتان به کار بگیرید. همین امروز برای مشاوره با کارشناسان تیکینو تماس بگیرید.

مطالب پیشنهادی مرتبط

نیاز به مشاوره تخصصی دارید؟

کارشناسان تیکینو در کمتر از ۲۴ ساعت برای تحلیل پروژه شما تماس می‌گیرند — مشاوره اولیه کاملاً رایگان است.

درخواست مشاوره رایگان

اخبار مرتبط