সফটওয়্যার স্ক্রিনশট:
সফটওয়্যার বিবরণ:
Methabot সফটওয়্যার একটি গতি-অনুকূলকৃত, স্ক্রিপ্টেবল এবং নানাভাবে কনফিগার করা যায় ওয়েব, FTP ও স্থানীয় ফাইল-সিস্টেমের ক্রলার হয়. এটা স্ক্রিপ্টের filetype: পার্সিং, স্বনির্ধারণ অপশন বিভিন্ন ধরণের সমর্থন করে এবং সহজে একটি anyones বিশেষ চাহিদা মাপসই কনফিগার করা হয়.
মডিউল সিস্টেম এবং স্ক্রিপ্টিং ভাষা ব্যবহার করে, ব্যবহারকারীদের ক্রলিং প্রক্রিয়ার সম্পূর্ণ বা আংশিক নিয়ন্ত্রণ নিতে এবং ওয়েব তথ্য, পরিসংখ্যান এবং আরো অনেক কিছু সংরক্ষণ করা উচিত তবে Methabot সিদ্ধান্ত নিতে সক্ষম হয়.
আপনি একটি scripter হতে হবে না, তাই শুধু কমান্ড লাইন থেকে Methabot চলমান দ্বারা আপনি এক্সপ্রেশন, আচরণ, এবং আরো অনেক কিছু ফিল্টারিং সক্ষম কনফিগার কাস্টম ফাইলের ধরন, হয়
বৈশিষ্ট্যগুলি :
- এটা মনের মধ্যে গতি-অপ্টিমাইজেশান সঙ্গে আপ স্থল থেকে পরিকল্পিত এবং দ্রুত.
- পরিবর্তন ও নতুন নতুন বৈশিষ্ট্য:
- কনফিগার কিছু সিস্টেমে jsapi.h খুঁজে পাইনি , এই এখন সংশোধন করা উচিত.
- SpiderMonkey হেডার
E4X সঙ্গে জাভাস্ক্রিপ্ট মাধ্যমে <লি> Scriptable
<লি> ব্যবহারকারী সংজ্ঞায়িত filetype: ফিল্টারিং (MIME ধরণ, ফাইল এক্সটেনশন বা UMEX অভিব্যক্তি অনুযায়ী)
<লি> মাল্টি থ্রেডেড
কমান্ড লাইন থেকে উচ্চ কনফিগার
<লি> এক্সটেনসিবল মডিউল সিস্টেম, কাস্টম তথ্য পারজার এবং ফিল্টার সমর্থন.
<লি> UMEX মাধ্যমে URL গুলির সহজ এখনো শক্তিশালী ফিল্টারিং.
<লি> অটোমেটেড ডাউনলোড করুন
<লি> স্বয়ংক্রিয় কুকি পরিচালনার জন্য সমর্থন HTTP- র মাধ্যমে চলমান যখন
<লি> নির্ভরযোগ্য, দোষ-সহনশীল নেটওয়ার্কিং
<লি> পোর্টেবল, 32-বিট / 64 বিট লিনাক্স 2.6 উপর সাফল্যের সঙ্গে পরীক্ষিত, 32-বিট / 64 বিট FreeBSD 'র 6.x / 7.0, উইন্ডোজ এক্সপি এবং Mac OS X- প্রায় কোনো ইউনিক্স মত অপারেটিং সিস্টেম কাজ করা উচিত.
এই রিলিজে নতুন কি
bugfix, বহিরাগত-উঁকি ব্যবহৃত হয় যখন গভীরতার সীমা <লি> ছিল বিশৃঙ্খলার সৃষ্টি.
<লি> মেমরি ব্যবহার পরিষ্করণ সংশোধন করা হয়েছে
এটি উল্লেখযোগ্যভাবে ক্রলিং গতি নিচে থেকে <লি> গতিশীল-URL বিকল্প আর ডিফল্টরূপে লুকআপ সেট করা হয়
লিঙ্ক যখন <লি> বিল্ড সিস্টেমে এখন সৃষ্টি এবং মডিউল ব্যবহার করতে পারেন কিছু হেডার ফাইল ইনস্টল হয়ে যায়
<লি> metha-কনফিগ টুল যোগ করা
<লি> lmm_mysql এই প্যাকেজের বাইরে সরানো
সংস্করণ 1.5.0 নতুন কি:
<লি> stdin থেকে ইনিশিয়াল বাফার পড়ার জন্য সাপোর্ট
<লি> - টাইপ করুন এবং --base-URL সম্ভাব্য কমাণ্ড লাইন অপশন কনফিগারেশন ফাইলের মধ্যে initial_filetype বিকল্প বরাবর, যোগ
Multithreaded যখন চলমান <লি> কুকিজ এবং DNS তথ্য এখন সঠিকভাবে কর্মীদের মধ্যে ভাগ করা হয়
<লি> যোগ করা হয়েছে কিছু উদাহরণ ব্যবহার --examples কমান্ড
<লি> আন্তঃ-থ্রেড যোগাযোগ বিগ উন্নতি, এখন দ্রুত এবং আরো সংগঠিত
<লি> স্ক্রিপ্ট 'init' ফাংশন জন্য সমর্থন যোগ করা হয়েছে. Http://bithack.se/projects/methabot/docs/e4x/init_functions.html এ Init ফাংশন সম্পর্কে আরও পড়ুন
আর একাধিক সমবর্তী HTTP- র মাথা অনুরোধ করছেন যখন <লি> libmetha নিথর না. স্থির কারণ এখন সংশোধন করা হয়েছে যা libcurl একটি বাগ ছিল. কিছু সমাধান নীচে উপস্থিত aswell খুঁত libcurl সংস্করণ ব্যবহার করার সময় occuring থেকে স্থির প্রতিরোধ libmetha যোগ করা হয়েছে.
<লি> পুরোনো libcurl সংস্করণের জন্য সমর্থন 7.17.x এবং 7.16.x
<লি> নতুন তথ্য পাওয়া যায় & quot; এই করুন & quot; দয়া করে জাভাস্ক্রিপ্ট পারজার, বিষয়বস্তু -টাইপ এবং স্থানান্তর স্টেটাস কোডের সাহায্যে লক্ষ্য. Http://bithack.se/projects/methabot/docs/e4x/this.html এ আরও পড়ুন
<লি> - --silent দিয়ে প্রতিস্থাপিত ভার্বোস অপশন উল্লেখিত থাকে, বাগাড়ম্বরপূর্ণ মোড ডিফল্ট যেহেতু
<লি> প্রাথমিক এফটিপি ক্রলিং জন্য সমর্থন এবং ftp_dir_url ক্রলার বিকল্প
<লি> গভীরতা সীমিত এখন ক্রলার-নির্দিষ্ট
<লি> সম্ভাব্য কমাণ্ড লাইন অপশন যোগ করা হয়েছে --crawler এবং --filetype
<লি> ইতিমধ্যে সংজ্ঞায়িত ক্রলার এবং ফাইলের ধরন ব্যাপ্ত এবং অগ্রাহ্য জন্য সমর্থন
<লি> কনফিগারেশন ফাইলের মধ্যে কপি শব্দ জন্য সমর্থন
<লি> সমর্থন পরিবর্তনশীল সক্রিয় ক্রলার পাল্টাবার জন্য, এই কমান্ডের সাহায্যে আপনি এক ক্রল সময় সম্পূর্ণ ভিন্ন উপায়ে বিভিন্ন ওয়েবসাইট ক্রল করতে দেয়. Http://bithack.se/projects/methabot/docs/crawler_switching.html এ ক্রলার সুইচিং সম্বন্ধে আরও বেশি পড়
<লি> libev সংস্করণ 3.51 আপগ্রেড
<লি> দ্য কনফিগারেশন ফাইলের মধ্যে নির্দেশ এখন, অন্তর্ভুক্ত কনফিগারেশন ফাইল আগে থেকেই লোড করা হয় নি নিশ্চিত করে তোলে এবং একাধিক filetype: / ক্রলার সংজ্ঞা-loops অন্তর্ভুক্ত প্রতিরোধ অন্তর্ভুক্ত.
<লি> বিভিন্ন SpiderMonkey আবর্জনা সংগ্রহ সংশোধন করা হয়েছে, libmetha আর বিপর্যস্ত না একটি Multithreaded সময় পরে পরিষ্কার যখন
<লি> --info বিকল্প কিছু অতিরিক্ত তথ্য যোগ করা হয়েছে
<লি> 'বহিরাগত' বিকল্প এখন সংশোধন করা হয়েছে এবং আবার সক্রিয় করা হয়
<লি> নতুন বিকল্প --spread-কর্মীদের
<লি> নতুন libmetha এপিআই ফাংশন lmetha_global_setopt () গ্লোবাল ত্রুটি / বার্তা / সতর্কবার্তা প্রতিবেদক পরিবর্তন করতে পারবেন
<লি> ডেভেলপারদের জন্য একটি পরীক্ষা স্যুট যোগ করা হয়েছে প্রাথমিক বাস্তবায়ন
<লি> উন্নত এরর রিপোর্টিং কনফিগারেশন ফাইল লোড করার সময়
<লি> Bugfix যখন শুধু HEAD অনুরোধের পর একটি বিষয়বস্তু -টাইপ হেডার ফিরে না HTTP সার্ভার
<লি> Bugfix যখন একাধিক HTTP- র মাথা অনুরোধের পর বাছাই URL গুলি
<লি> HTML পৃষ্ঠাতে আছে কি না যখন XML রূপান্তরকারী এইচটিএমএল মধ্যে bugfix একটি করুন & lt; এইচটিএমএল & gt; ট্যাগ
<লি> bugfix, extless-URL বিকল্প কাজ করে নি
<লি> bugfix, XML রূপান্তরকারী এইচটিএমএল আর বাইট অর্ডার চিহ্ন বা প্রকৃত এইচটিএমএল আগে অন্য টেক্সট chokes
<লি> bugfix, সমর্থিত নয় যে প্রোটোকল URL গুলি অ্যাক্সেস করার চেষ্টা থেকে libmetha প্রতিরোধকারী
<লি> Bugfix একটি ত্রুটি পর শাট ডাউন যখন.
<লি> bugfix, unresolvable URL গুলি তিন চেষ্টার পরে পুনরায় চেষ্টা লুপ আউট স্বেচ্ছায় ভঙ্গ করিনি
<লি> খুব পরীক্ষামূলক এবং প্রধানত ডেভেলপারদের জন্য দেয়ার উদ্দেশ্যে করা Win32 জন্য অস্থির সমর্থন,
<লি> নতুন কনফিগারেশন ফাইল:
<লি> google.conf, সঞ্চালন গুগল অনুসন্ধানের
<লি> youtube.conf, ইউটিউব অনুসন্ধান করুন
<লি> meta.conf, যেমন এইচটিএমএল পেজ সম্পর্কে কীওয়ার্ড এবং বর্ণনা হিসাবে কপি করে প্রিন্ট মেটা তথ্য
<লি> title.conf, HTML পৃষ্ঠাগুলিকে শিরোনাম ছাপে
<লি> ftp.conf, এফটিপি সার্ভার ক্রলিং জন্য
কি সংস্করণ 1.4.1 নতুন:
<লি> কনফিগারেশন ফাইল, এখন ক্রলার এবং filetype: পতাকা পরিবর্তন করতে পারবেন অপশন 'বহিরাগত' এবং 'external_peek' যোগ করুন
খালি URL গুলি আপ পরিষ্কার করার সময় <লি> bugfix, Methabot কখনও কখনও বিপর্যস্ত হবে একাধিক HTTP- র মাথার পরে
<লি> সিঙ্ক্রোনাস চলমান সময় যে ঘটেছে একটি ক্র্যাশ সংশোধন করা হয়েছে.
<লি> jsconfig.h পাওয়া যায়নি যখন ফিক্স অন্তর্ভুক্ত সিস্টেম নির্মাণ.
আবশ্যক
<লি> কার্ল
পাওয়া মন্তব্যসমূহ না