mrjob আপনি লিখুন এবং Hadoop প্রবাহিত কাজ চালানোর যে সাহায্য একটি পাইথন মডিউল.
mrjob সম্পূর্ণরূপে আপনি একটি ঘনঘন ভিত্তিতে একটি Hadoop ক্লাস্টারের সময় কিনতে পারবেন, যা ইসলাম এর ইলাস্টিক MapReduce (EMR) সেবা, সমর্থন করে. এটা আপনার নিজের Hadoop ক্লাস্টারের সাথে কাজ করে.
ইনস্টলেশন:
পাইথন ইনস্টল setup.py
হরতাল EMR সেট আপ
Http://aws.amazon.com/: & nbsp; * একটি ইসলাম ওয়েব সেবা অ্যাকাউন্ট তৈরি
& Nbsp; * ইলাস্টিক MapReduce জন্য সাইন আপ করুন: http://aws.amazon.com/elasticmapreduce/
& Nbsp; * আপনার অ্যাক্সেস এবং গোপন কি পান (http://aws.amazon.com/account/ যান এবং "নিরাপত্তা প্রমাণপত্রাদি" ক্লিক করুন) ও বিভিন্ন পরিবেশের $ AWS_ACCESS_KEY_ID সেট এবং সেই অনুযায়ী $ AWS_SECRET_ACCESS_KEY
এটি চেষ্টা করে দেখুন!
# স্থানীয়ভাবে
পাইথন mrjob / উদাহরণ / mr_word_freq_count.py README.md> সংখ্যা
EMR উপর #
পাইথন mrjob / উদাহরণ / mr_word_freq_count.py README.md -r EMR> সংখ্যা
আপনার Hadoop ক্লাস্টারের #
পাইথন mrjob / উদাহরণ / mr_word_freq_count.py README.md -r Hadoop> সংখ্যা
উন্নত কনফিগারেশন
অন্যান্য ডেস্কটপ অ্যাপ উন্মোচন অঞ্চলে চালানো আপনার সোর্স গাছ, রান করতে আপলোড, এবং অন্যান্য উন্নত বৈশিষ্ট্য mrjob ব্যবহার করতে, আপনাকে mrjob.conf সেট আপ করতে হবে. mrjob তার conf ফাইলে জন্য দেখায়:
& Nbsp; * ~ / .mrjob
& Nbsp; আপনার $ PYTHONPATH কোথাও * mrjob.conf
& Nbsp; * /etc/mrjob.conf
আরও তথ্যের জন্য দেখুন mrjob.conf.example
বৈশিষ্ট্য :.
- EMR চালান কাজ, আপনার নিজের Hadoop ক্লাস্টার, বা স্থানীয়ভাবে (পরীক্ষার জন্য).
- বহু পদক্ষেপ কাজ করুন (এক ধাপ পরবর্তী ফিড মানচিত্র কমানো) লিখুন
- Hadoop ভিতরে আপনার পরিবেশে সদৃশ
- আপনার উৎস গাছ আপলোড করুন এবং আপনার কাজ এর $ PYTHONPATH এটা করা
- চালান করা এবং অন্যান্য সেটআপ স্ক্রিপ্ট
- সেট পরিবেশ ভেরিয়েবল (যেমন $: TZ)
- সহজেই tarballs থেকে পাইথন প্যাকেজ ইনস্টল করুন (EMR শুধুমাত্র)
- mrjob.conf কনফিগ ফাইল দ্বারা স্বচ্ছভাবে পরিচালনা সেটআপ করুন
- স্বয়ংক্রিয়ভাবে EMR থেকে ত্রুটির লগ ব্যাখ্যা করুন
- EMR উপর Hadoop কাজ অনুসরণ করে SSH- সুড়ঙ্গ
- সংক্ষিপ্ত সেটআপ করুন
- EMR উপর চালানোর জন্য, সেট $ AWS_ACCESS_KEY_ID এবং $ AWS_SECRET_ACCESS_KEY
- আপনার Hadoop ক্লাস্টারের চালানোর জন্য, সেট $ HADOOP_HOME
আবশ্যক
- পাইথন
পাওয়া মন্তব্যসমূহ না