ربات حرفه‌یاب
حرفه‌یاب با رباتی به نام HarfeyabBot فقط صفحات عمومی منابع رسمی (مثل فهرست اعضای سازمان نظام پزشکی و کانون‌های وکلا)، داده آزاد OpenStreetMap و سایت خود کسب‌وکارها را می‌خواند تا مردم بتوانند متخصص مورد نیازشان را پیدا کنند.
ربات چه کاری می‌کند و چه کاری نمی‌کند
- فایل robots.txt هر سایت را می‌خواند و همیشه به آن عمل می‌کند؛ این قاعده خاموش‌شدنی نیست.
- با فاصله زیاد بین درخواست‌ها و حداکثر یک درخواست هم‌زمان برای هر منبع، بار ناچیزی ایجاد می‌کند.
- از کپچا یا محافظ ربات عبور نمی‌کند. اگر سایتی ربات را محدود کند، چند ساعت متوقف می‌شود.
- متن نظرات، عکس و شماره موبایل شخصی را از سایت‌های دیگر کپی نمی‌کند.
کنترل در دست شماست
برای محدود کردن ربات، در robots.txt خود از User-agent: HarfeyabBot استفاده کنید. اگر نام یا شماره شما در حرفه‌یاب آمده و نمی‌خواهید نمایش داده شود، با تأیید همان شماره می‌توانید صفحه را پنهان یا حذف کنید؛ درخواست حداکثر ظرف ۲۴ ساعت اجرا می‌شود.
User-Agent: Mozilla/5.0 (compatible; HarfeyabBot/1.0; +https://harfeyab.rayanhuber.net/bot)