ওয়ার্ডপ্রেস AI বট ব্লক করার গাইড: GPTBot, ClaudeBot কীভাবে বন্ধ করবেন
আপনার ওয়ার্ডপ্রেস সাইটের সার্ভার লগ একবার খুলে দেখুন, একটা চমক অপেক্ষা করছে। প্রতিদিন যত রিকোয়েস্ট আসছে, তার একটা বড় অংশ আসলে মানুষ না, বট। আর এই বটদের একটা বিশাল অংশ এখন AI কোম্পানির ক্রলার, যারা আপনার লেখা, প্রোডাক্ট পেজ, এমনকি সোর্স কোড টেনে নিয়ে যাচ্ছে নিজেদের মডেল ট্রেইন করার জন্য, কোনো অনুমতি না নিয়েই।
প্রশ্নটা হলো: সব AI বট কি এক রকম খারাপ? আর AI বট ব্লক করতে গিয়ে কি নিজের হাতেই ChatGPT বা Perplexity-এর মতো টুলে সাইট দেখানোর সুযোগ বন্ধ করে দিচ্ছেন? এই লেখায় GPTBot, ClaudeBot সহ কোন কোন বট আসলে সমস্যা, কোনগুলো রাখা দরকার, আর robots.txt থেকে সার্ভার লেভেল পর্যন্ত কীভাবে ব্লক করবেন তার পুরো নিয়ম দেখানো হলো।
AI বট আসলে কী করছে আপনার সাইটে
AI বট মানে এমন একটা স্বয়ংক্রিয় প্রোগ্রাম, যেটা আপনার সাইটের প্রতিটা পেজে ঢুকে টেক্সট, ছবির ক্যাপশন, HTML স্ট্রাকচার সব কপি করে নিয়ে যায়। এই ডেটা যায় দুই জায়গায়: হয় একটা লার্জ ল্যাঙ্গুয়েজ মডেল ট্রেইন করতে, নয়তো রিয়েল-টাইমে কোনো ইউজারের প্রশ্নের উত্তর তৈরি করতে।
সমস্যাটা দুই স্তরে। প্রথমত, এই বটগুলো প্রতিটা রিকোয়েস্টে সার্ভার রিসোর্স খরচ করে, ঠিক যেমন একজন সাধারণ ভিজিটর করে। শেয়ার্ড হোস্টিংয়ে থাকা সাইটে হাজার হাজার বট রিকোয়েস্ট মানে ব্যান্ডউইথ আর CPU খরচ, অথচ এর বিনিময়ে সাইটে কোনো রিটার্ন ট্রাফিক আসছে না। দ্বিতীয়ত, কনটেন্ট মালিকানার প্রশ্ন। বছরের পর বছর সময় দিয়ে লেখা আর্টিকেল, ছবি, কোড কোনো ক্রেডিট বা কম্পেনসেশন ছাড়াই একটা কমার্শিয়াল মডেলে ঢুকে যাচ্ছে।
১০+ বছর ধরে ওয়ার্ডপ্রেস সাইট বানানো এবং ৯৫০+ Fiverr ক্লায়েন্ট প্রজেক্ট হ্যান্ডেল করার অভিজ্ঞতা থেকে বলা যায়, শেয়ার্ড হোস্টিংয়ে থাকা সাইটে হঠাৎ সার্ভার রিসোর্স শেষ হয়ে যাওয়ার একটা বড় কারণ এখন বট ট্রাফিক, শুধু ভিজিটর বাড়া না।
সব AI বট এক না: ট্রেনিং বট বনাম আনসার বট
সব AI বটকে একসাথে ব্লক করে দেওয়াটা একটা বড় ভুল। কারণ এর মধ্যে কিছু বট আপনার কনটেন্ট টেনে নিয়ে মডেল ট্রেইন করে, আর কিছু বট রিয়েল-টাইমে ইউজারের প্রশ্নের উত্তরে আপনার সাইটের লিংক বা তথ্য দেখায়। এই দুইটা একদমই আলাদা জিনিস, আর দুটোর সাথে দুই রকম আচরণ করা উচিত।
২০২৬ সালের সেপ্টেম্বরে প্রকাশিত Cloudflare নেটওয়ার্ক জুড়ে robots.txt বিশ্লেষণের একটা রিপোর্ট এই প্যাটার্নটা স্পষ্ট দেখায়। GPTBot, অর্থাৎ OpenAI-এর ট্রেনিং বট, ব্লক হচ্ছে allow-এর তুলনায় প্রায় ২.৩৩ গুণ বেশি। অথচ একই কোম্পানির OAI-SearchBot, যেটা সার্চ/আনসার বট, সেটা ব্লকের চেয়ে বেশি allowed হচ্ছে। Anthropic-এর ClaudeBot ব্লক হচ্ছে ২.৩৯:১ অনুপাতে, কিন্তু Claude-SearchBot প্রায় সমান সমান allow-block অনুপাতে আছে। Apple-এর ক্ষেত্রেও একই চিত্র: Applebot-Extended (ট্রেনিং অপ্ট-আউট বট) ব্লক হচ্ছে ৩.২৪:১ অনুপাতে, অথচ সাধারণ Applebot বেশিরভাগ সময় খোলা থাকছে।
ওই রিপোর্টের মূল কথাটাই সবচেয়ে গুরুত্বপূর্ণ: পাবলিশাররা আসলে “AI” ব্লক করছেন না, তারা ট্রেনিং ব্লক করছেন আর আনসারিং allow করছেন। যেসব বটের কোনো “আনসার বট” ভার্সনই নেই, সেগুলোই সবচেয়ে বেশি ব্লক হচ্ছে: Bytespider (৫.৮০:১), Meta-ExternalAgent (৪.৩০:১), Amazonbot (৪.১০:১), আর CCBot (৪.০৮:১)। এই বটগুলো শুধু ট্রেনিং ডেটা কালেক্ট করে, বিনিময়ে সাইটে কোনো ট্রাফিক ফেরত পাঠায় না।
একই রিপোর্ট বলছে, আগস্ট মাসে ট্রেনিংয়ের জন্য ঘোষিত ক্রলিং কমেছে ৪৪.৭৬% থেকে ৪০.১৫%-এ, আর সার্চের জন্য ক্রলিং বেড়েছে ১১.৫৬% থেকে ১৬.৪৫%-এ। অর্থাৎ AI কোম্পানিগুলোও বুঝতে পারছে, পাবলিশাররা যেটা মেনে নেয় সেদিকেই তাদের ক্রলিং সরিয়ে নিতে হচ্ছে।
যারা GEO নিয়ে কাজ করছেন এবং চান সাইট ChatGPT বা Perplexity-এর উত্তরে সাইটেশন হিসেবে দেখা যাক, তাদের জন্য আগের লেখা AI সার্চ অপটিমাইজেশন (GEO): ওয়ার্ডপ্রেস সাইট AI-তে দেখানোর ৭টি বাস্তব কৌশল আগে পড়ে নেওয়া দরকার। কারণ যেসব বট আনসারে সাহায্য করে, সেগুলো ভুলবশত ব্লক করে দিলে GEO-এর পুরো চেষ্টাই মাটি হয়ে যায়।
robots.txt দিয়ে AI বট ব্লক করার নিয়ম
robots.txt ফাইলে নির্দিষ্ট User-agent এন্ট্রি যোগ করেই বেশিরভাগ AI বট ব্লক করা যায়, তবে মনে রাখা জরুরি এটা একটা রিকোয়েস্ট, কোনো জোরপূর্বক নির্দেশ না। যেসব বট ভদ্রভাবে robots.txt মেনে চলে, শুধু তাদের জন্যই এটা কাজ করে।
- cPanel File Manager বা FTP দিয়ে সাইটের রুট ডিরেক্টরিতে গিয়ে robots.txt ফাইল খুলুন (Yoast বা Rank Math ব্যবহার করলে প্লাগইনের নিজস্ব robots.txt এডিটর থেকেও করা যায়)।
- নিচের কোডটা ফাইলের শেষে যোগ করুন।
- সেভ করে Google Search Console-এর robots.txt টেস্টার দিয়ে ফাইলটা ভ্যালিড কিনা যাচাই করুন।
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /লক্ষ্য করুন, শেষের দুইটা এন্ট্রিতে Allow লেখা। কারণ এই দুইটা সার্চ/আনসার বট, ট্রেনিং বট না। এই ফাইল একবার আপডেট করলেই কাজ শেষ না, নতুন AI বট প্রতি মাসেই বাজারে আসছে, তাই মাঝে মাঝে চেক করে লিস্ট আপডেট রাখা দরকার।
শুধু robots.txt কেন যথেষ্ট না
robots.txt আসলে একটা “অনার সিস্টেম”, কেউ এটা মানতে বাধ্য না। কিছু বট সরাসরি এই ফাইল উপেক্ষা করে সাইট ক্রল করে, বিশেষ করে যেসব ছোট বা কম পরিচিত কোম্পানি তাদের ডেটা কালেকশন পলিসি খোলাখুলি প্রকাশ করেনি। এই কারণে শক্তিশালী সুরক্ষার জন্য সার্ভার লেভেলে ব্লক করাটাও দরকার।
Apache সার্ভারে .htaccess ফাইলে নিচের কোড যোগ করে User-agent ধরে ধরে ব্লক করা যায়:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|CCBot|Bytespider|Meta-ExternalAgent|Amazonbot|ClaudeBot|Applebot-Extended) [NC]
RewriteRule .* - [F,L]শেয়ার্ড হোস্টিংয়ে .htaccess এডিট করার আগে ফাইলের একটা কপি রাখা মাস্ট, একটা ভুল সিনট্যাক্সে পুরো সাইট 500 এরর দেখাতে পারে। যাদের হোস্টিং প্ল্যানে সার্ভার লেভেল কন্ট্রোল সীমিত বা .htaccess এডিট করলে সাইট ডাউন হয়ে যাওয়ার ভয় থাকে, তাদের জন্য শুরু থেকেই সঠিক ডোমেইন ও হোস্টিং সেটআপ থাকাটা জরুরি।
বট ট্রাফিক বেশি হলে সার্ভার রিসোর্স খরচ হয়, যেটা সরাসরি সাইটের লোড টাইমে প্রভাব ফেলে। আগের লেখা ওয়ার্ডপ্রেস স্পিড অপটিমাইজেশন ২০২৬-এ ক্যাশ প্লাগইনের বাইরে সার্ভার লেভেলে আর কোন কোন জায়গা চেক করা দরকার সেটা বিস্তারিত দেখানো আছে।
কোন বট ব্লক করবেন, কোনগুলো খোলা রাখবেন
একনজরে দেখে নেওয়ার জন্য বটগুলো তিন ভাগে ভাগ করা যায়:
সবচেয়ে বড় ভুল যা বেশিরভাগ সাইট মালিক করেন
সবচেয়ে সাধারণ ভুল হলো, একটা “ব্লক অল AI বট” প্লাগইন ইনস্টল করে সব বট একসাথে বন্ধ করে দেওয়া, GEO নিয়ে কোনো চিন্তা না করেই। এতে ChatGPT বা Perplexity-এর উত্তরে সাইটের নাম বা লিংক আসার সুযোগও বন্ধ হয়ে যায়। যে সাইট একদিকে AI আনসারে সাইটেশন পাওয়ার চেষ্টা করছে, অথচ অন্যদিকে সব বট ব্লক করে রেখেছে, তার জন্য এটা নিজের পায়ে কুড়াল মারার মতো।
দ্বিতীয় ভুল হলো, একবার robots.txt আপডেট করে ভুলে যাওয়া। AI বটের তালিকা প্রতি কয়েক মাসে বদলাচ্ছে, নতুন কোম্পানি নতুন ক্রলার নিয়ে আসছে। যে তালিকা আজ কাজ করছে, ছয় মাস পর সেটা অসম্পূর্ণ হয়ে যেতে পারে।
শেষ কথা
AI বট ব্লক করা মানে সব দরজা বন্ধ করে দেওয়া না, বরং কোন দরজা খোলা রাখবেন সেটা বেছে নেওয়া। ট্রেনিং বট বন্ধ করুন, সার্চ/আনসার বট খোলা রাখুন, আর robots.txt-এর পাশাপাশি সার্ভার লেভেলেও একটা ব্যাকআপ প্ল্যান রাখুন।
সাইটের সার্ভার রিসোর্স বট ট্রাফিকে আটকে থাকলে, বা সাইট কেন স্লো সেটা নিজে বের করার সময় না থাকলে, WordPress Speed Optimization সার্ভিস থেকে পুরো অডিট করিয়ে নেওয়া যায়। আর যারা নিজে হাতে-কলমে এই ধরনের টেকনিক্যাল কনফিগারেশন শিখে ফ্রিল্যান্সিংয়ে ক্লায়েন্ট নিতে চান, তাদের জন্য WordPress Pro কোর্স-এ পুরো ওয়ার্কফ্লো শেখানো আছে।
