একটি শক্তিশালী ওয়েব ক্রলার উপযোগ ইউআরএল, মেটা ট্যাগ (শিরোনাম, বিবরণ, শব্দ), প্লেইন টেক্সট, পৃষ্ঠা আকার, ওয়েব সাইট, ওয়েব ডিরেক্টরি, অনুসন্ধান ফলাফল, ফাইল থেকে URL গুলির তালিকা থেকে শেষ বার পরিমার্জিত তারিখ মান নিষ্কর্ষ. উচ্চ গতি, মাল্টি থ্রেডেড, সঠিক...