امروزه بسیاری از ناشران وب و وب‌سایت‌های بزرگ با استناد به آمارهای ترافیک ارجاعی، دسترسی کرولرهای هوش مصنوعی را مسدود می‌کنند. اما گزارش تازه مجله Search Engine Journal نشان می‌دهد که این تصمیم‌گیری‌ها بر پایه داده‌های ناقص و محاسبات نادرست بنا شده‌اند؛ موضوعی که می‌تواند آینده سئو و ترافیک ارگانیک سایت‌ها را به خطر بیندازد.
چالش جدید وب؛ جنگ ناشران با کرولرهای هوش مصنوعی
در ماه‌های اخیر، موج بزرگی از مسدودسازی ربات‌ها و کرولرهای هوش مصنوعی (مانند GPTBot متعلق به OpenAI یا ClaudeBot متعلق به Anthropic) توسط ناشران خبر و صاحبان وب‌سایت‌های بزرگ راه افتاده است. استدلال اصلی این ناشران ساده است: «شرکت‌های هوش مصنوعی محتوای ما را برای آموزش مدل‌های خود اسکرپ می‌کنند، اما در مقابل، ترافیک ورودی یا ارجاعی (Referral Traffic) بسیار کمی به سایت‌های ما می‌فرستند.»
در ظاهر، این یک دودوتیاتای اقتصادی ساده به نظر می‌رسد. اگر یک ابزار یا ربات به سایت شما فشار بیاورد اما ورودی و ارجاعی برای شما نداشته باشد، عقلانی‌ترین کار مسدود کردن آن از طریق فایل robots.txt است. اما آیا داده‌هایی که ناشران به آن استناد می‌کنند واقعاً درست است؟
مخرج کسر اشتباه است؛ تحلیل دواین فورستر در سرچ انجین ژورنال
دواین فورستر (Duane Forrester)، از کارشناسان برجسته سئو و نویسنده رسانه Search Engine Journal، در مقاله‌ای تحلیلی به بررسی این موضوع پرداخته است. او معتقد است تمام ناشرانی که عدد واحدی را درباره «کاهش ترافیک ارجاعی هوش مصنوعی» نقل می‌کنند، دچار یک خطای محاسباتی بنیادی شده‌اند.
مشکل اصلی در «مخرج کسر» محاسبات است. زمانی که ابزارهای آنالیتیکس (مانند گوگل آنالیتیکس) ترافیک ورودی از سوی موتورهای جستجوی هوش مصنوعی یا چت‌بات‌ها را اندازه‌گیری می‌کنند، سهم بزرگی از این ترافیک را نادیده می‌گیرند یا آن را به اشتباه در دسته‌بندی‌های دیگر قرار می‌دهند.
ترافیک تاریک (Dark Traffic) و رفتار جدید کاربران
چرا آمارهای فعلی درباره ترافیک هوش مصنوعی قابل اعتماد نیستند؟
1. حذف اطلاعات ارجاع‌دهنده (HTTP Referrer): بسیاری از پلتفرم‌های هوش مصنوعی مانند اپلیکیشن‌های موبایل یا دسکتاپ ChatGPT و Perplexity، هنگام هدایت کاربر به یک وب‌سایت، اطلاعات Header مربوط به ارجاع‌دهنده را ارسال نمی‌کنند. در نتیجه، ابزارهای آنالیتیکس این ورودی‌ها را به عنوان ترافیک مستقیم (Direct Traffic) ثبت می‌کنند، نه ترافیک ارجاعی از هوش مصنوعی.
2. برش دادن پارامترهای UTM: ابزارهای حریم خصوصی و حتی برخی تنظیمات مرورگرها، پارامترهای ردگیری را از انتهای لینک‌ها حذف می‌کنند.
3. رفتار کپی-پیست کاربران: بسیاری از کاربران پاسخ را از هوش مصنوعی دریافت کرده، لینک پیشنهادی را کپی می‌کنند و مستقیم در مرورگر خود باز می‌کنند. این رفتار کاملاً ترافیک هوش مصنوعی است اما در آمارها به عنوان ترافیک مستقیم دیده می‌شود.
به این ترتیب، وقتی ناشران می‌گویند «هوش مصنوعی فقط ۰.۵ درصد ترافیک ما را تامین می‌کند»، در واقع دارند به کسری نگاه می‌کنند که مخرج و صورت آن کاملاً اشتباه و ناقص است.
پیامدهای خطرناک مسدودسازی شتاب‌زده برای سئو
مسدود کردن کرولرهای هوش مصنوعی بر اساس داده‌های نادرست، می‌تواند آسیب‌های جبران‌ناپذیری به استراتژی دیجیتال مارکتینگ و سئو یک کسب‌وکار وارد کند. دنیای جستجو در حال تغییر از سئوی سنتی (SEO) به سمت بهینه‌سازی برای موتورهای مولد (GEO یا Generative Engine Optimization) است.
اگر دسترسی ربات‌های هوش مصنوعی را به سایت خود ببندید:
* حذف از پاسخ‌های هوش مصنوعی: موتورهای جستجوی جدید مانند SearchGPT، Perplexity و حتی Google Gemini دیگر نمی‌توانند محتوای شما را بخوانند؛ بنابراین در پاسخ به پرسش‌های کاربران، هیچ ارجاع یا لینکی به برند شما داده نخواهد شد.
* از دست دادن سهم بازار آینده: در حالی که مناظره‌ها بر سر ترافیک امروز در جریان است، شما شانس دیده شدن در پلتفرم‌هایی که آینده وب را می‌سازند از دست می‌دهید.
چگونه باید استراتژی ترافیک و سئو را تنظیم کرد؟
به جای تصمیم‌گیری‌های هیجانی و مسدودسازی کامل ربات‌ها، کارشناسان پیشنهاد می‌کنند که مدیران وب‌سایت‌ها رویکرد هوشمندانه‌تری اتخاذ کنند:
1. بازنگری در نحوه سنجش ترافیک: به جای اتکای صرف به سورس/مدیوم‌های پیش‌فرض در آنالیتیکس، تغییرات ترافیک مستقیم (Direct) و رشد جستجوی نام برند (Brand Queries) را هم‌زمان با رشد استفاده از هوش مصنوعی بررسی کنید.
2. تفکیک کرولرهای آموزش از کرولرهای جستجو: برخی شرکت‌ها امکان تفکیک ربات‌های آموزشی (Training Bots) را از ربات‌های جستجو (Search Crawlers) فراهم کرده‌اند. می‌توانید اجازه ایندکس و لینک‌دهی را بدهید اما جلوی استفاده از محتوا برای آموزش مدل را بگیرید.
3. ارائه محتوای ارزشمند و ساختاریافته: هوش مصنوعی به دنبال پاسخ‌های دقیق، معتبر و ساختاریافته است. با بهینه‌سازی داده‌های ساختاریافته (Schema Markup)، شانس حضور خود در ارجاعات هوش مصنوعی را افزایش دهید.
جمع‌بندی
همان‌طور که Duane Forrester در گزارش خود در Search Engine Journal تاکید می‌کند، اتکا به آمارهای ناقص برای تصمیم‌گیری‌های بزرگ استراتژیک، یک خطای تحلیلی است. ناشران نباید به خاطر عدم توانایی ابزارهای فعلی در ثبت درست ترافیک، فرصت‌های حضور در نسل جدید موتورهای جستجو را از خود سلب کنند.
---
خدمات هوش مصنوعی و سئو در تیکینو
آیا نگران تاثیر هوش مصنوعی بر ترافیک ارگانیک و سئوی وب‌سایت خود هستید؟ آژانس دیجیتال مارکتینگ تیکینو با بهره‌گیری از جدیدترین متدهای روز دنیا، خدمات تخصصی زیر را به شما ارائه می‌دهد:
* بهینه‌سازی سایت برای موتورهای هوش مصنوعی (GEO)
* تحلیل و آنالیز پیشرفته داده‌های ترافیک و رفع خطاهای Tracking
* طراحی سایت استاندارد و آماده‌سازی ساختار داده‌ها برای کرولرهای جدید
* تدوین استراتژی جامع سئو و دیجیتال مارکتینگ در عصر AI
برای دریافت مشاوره اختصاصی و ارزیابی رایگان وضعیت سئوی سایت خود، همین امروز با کارشناسان تیکینو در ارتباط باشید.