robots.js - বিনামূল্যে ডাউনলোড সফ্টওয়্যার জন্য Web

robots.js 0.9.4

robots.txt ফাইল থেকে তথ্য বৈঠাচালনা আউট এবং অন্যান্য অ্যাপ্লিকেশন বা পরিসংখ্যান সরঞ্জাম এটি ভোজন ব্যবহার করা যাবে.প্রবেশাধিকার এবং অবস্থা তথ্য জন্য লক্ষ্য URL টি, কারণ নিষ্কাশন করা হবে এই রিলিজে নতুন কি:. হ্যান্ডলগুলি HTTP (গুলি ) অনুরোধ ত্রুটি. ...