Apache Spark

স্পার্ক তথ্য বিশ্লেষণ এবং ম্যানিপুলেশন প্রোগ্রাম জন্য প্রসেসিং গতি উন্নতি করার পরিকল্পনা করা হয়েছিল.
এটা জাভা এবং Scala লেখা এবং তারা মূলধারার না হন কিংবা অ-ডেটা প্রসেসিং অ্যাপ্লিকেশনের জন্য যে দরকারী বেশিরভাগ কারণ, অন্যান্য সিস্টেমের মধ্যে খুঁজে পাওয়া যায় নি বৈশিষ্ট্য উপলব্ধ করা হয় ছিল.

নতুন কি এই রিলিজে:.

• কোর API- টি বর্তমানে ব্যয়বহুল অপারেশন কমাতে গতি বাড়াতে সাহায্য করার মাল্টি লেভেল অ্যাগ্রিগেশন গাছ সমর্থন

<লি> উন্নত এরর রিপোর্টিং নির্দিষ্ট gotcha অস্ত্রোপচারের জন্য যোগ করা হয়েছে.
<লি> স্পার্ক এর জেটি নির্ভরতা এখন ব্যবহারকারী প্রোগ্রাম সঙ্গে দ্বন্দ্ব এড়াতে সাহায্য ছায়াময় হয়.

<লি> স্পার্ক এখন কিছু যোগাযোগ শেষ জন্য SSL এনক্রিপশন সমর্থন করে.
<লি> রিয়েলটাইম জিসি বৈশিষ্ট্যের মান এবং রেকর্ড সংখ্যা UI 'তে যোগ করা হয়েছে.


সংস্করণ 1.3.0 নতুন কি:

• কোর API- টি বর্তমানে সমর্থন করে মাল্টি লেভেল অ্যাগ্রিগেশন গাছ ব্যয়বহুল অপারেশন কমাতে গতি বাড়াতে সাহায্য করার.

<লি> উন্নত এরর রিপোর্টিং নির্দিষ্ট gotcha অস্ত্রোপচারের জন্য যোগ করা হয়েছে.
<লি> স্পার্ক এর জেটি নির্ভরতা এখন ব্যবহারকারী প্রোগ্রাম সঙ্গে দ্বন্দ্ব এড়াতে সাহায্য ছায়াময় হয়.

<লি> স্পার্ক এখন কিছু যোগাযোগ শেষ জন্য SSL এনক্রিপশন সমর্থন করে.
<লি> রিয়েলটাইম জিসি বৈশিষ্ট্যের মান এবং রেকর্ড সংখ্যা UI 'তে যোগ করা হয়েছে.


কি সংস্করণ 1.2.1 নতুন:

• PySpark এর সাজানোর অপারেটর এখন বড় ডেটাসেট জন্য বহিরাগত spilling সমর্থন .

<লি> PySpark এখন 2GB চেয়ে ব্রডকাস্ট ভেরিয়েবল বড় সমর্থন করে এবং প্রকারের সময় বহিরাগত spilling সঞ্চালিত হবে.
<লি> স্পার্ক একটি কাজ-স্তরের অগ্রগতি স্পার্ক UI 'তে পাতা, অগ্রগতি প্রতিবেদনের জন্য একটি স্থিতিশীল এপিআই, এবং কাজ সম্পূর্ণ. হিসাবে আউটপুট বৈশিষ্ট্যের মান গতিশীল আপডেট যোগ
<লি> স্পার্ক এখন ইমেজ এবং অন্যান্য বাইনারি ফরম্যাটের জন্য বাইনারি ফাইল পড়ার জন্য সমর্থন আছে.


সংস্করণ 1.0.0 নতুন কি:

• এই রিলিজে, স্পার্ক এর স্ট্যান্ডার্ড লাইব্রেরী বিস্তৃতি একটি নতুন উপস্থাপক যা আপনাকে এসকিউএল প্যাকেজ (স্পার্ক এসকিউএল) বিদ্যমান ব্যবহারকারীদের স্পার্ক workflows মধ্যে এসকিউএল কোয়েরি সংহত.

<লি> MLlib, স্পার্ক এর মেশিন লার্নিং লাইব্রেরি, বিক্ষিপ্ত ভেক্টর সমর্থন এবং বেশ কিছু নতুন আলগোরিদিম সঙ্গে প্রসারিত করা হয়েছে.


কি সংস্করণ 0.9.1 নতুন:

• বহিরাগত spilling স্থায়ী হ্যাশ সংঘর্ষের বাগ
  <লি> অন্যান্য লগিং এন্ডের উপর নির্ভর ব্যবহারকারীদের জন্য স্পার্ক এর log4j সঙ্গে স্থায়ী দ্বন্দ্ব

<লি> স্থায়ী Graphx Maven মধ্যে স্পার্ক সমাবেশ বয়াম থেকে অনুপস্থিত তৈরী করুন
Akka ফ্রেম সাইজ মাত্রাধিক আউটপুট অবস্থা ম্যাপ কারণে <লি> স্থায়ী নীরব ব্যর্থতা
<লি> এস এম উপর সরানো হয়েছে স্পার্ক এর অপ্রয়োজনীয় সরাসরি নির্ভরতা
LGPL লাইসেন্স সংঘাতের কারণে ডিফল্ট বিল্ড থেকে <লি> সরানো হয়েছে বৈশিষ্ট্যের মান-ganglia
<লি> বন্টন tarball রূপে স্থায়ী বাগ ধারণকারী না স্পার্ক সমাবেশ বয়াম


কি সংস্করণ 0.8.0 নতুন:

• উন্নয়ন একটি হিসাবে এ্যাপাচি Sowftware ফাউন্ডেশন থেকে সরানো হয়েছে ইনকিউবেটর প্রকল্প.



সংস্করণ 0.7.3 নতুন কি:

<লি> পাইথন কর্মক্ষমতা

: পাইথন ভার্চুয়াল মেশিনের ডিম ছাড়ার জন্য স্পার্ক এর প্রক্রিয়া আছে JVM Python API উপস্থিত দ্রুত গাড়ী চালানোর আপ, একটি বড় গাদা আকার আছে যখন দ্রুত যাতে না উন্নত করা.

<লি> পূর্বে সংশোধন করা হয়েছে: পূর্বে টাস্ক ফলাফল deserializing যখন আপনার কাজ যোগ বয়াম এখন ক্লাসপাথ হবে .
<লি> এরর রিপোর্টিং:. অ serializable ব্যতিক্রম এবং মাত্রাতিরিক্ত বড় টাস্ক ফলাফলের জন্য ভাল এরর রিপোর্টিং
<লি> উদাহরণ:. UpdateStateByKey সঙ্গে stateful প্রবাহ প্রক্রিয়াকরণ একটি উদাহরণ যোগ করা হয়েছে
<লি> বিল্ড:. প্রবাহিত আর এটা চীন মধ্যে নির্মাণ করতে পারবেন উচিত যা Twitter4J রেপো উপর নির্ভর করে স্পার্ক
<লি> foldByKey বাগ সংশোধন করা হয়েছে, স্ট্রিমিং গণনা, পরিসংখ্যান পদ্ধতি, ডকুমেন্টেশন, এবং ওয়েব UI 'তে.


সংস্করণ 0.7.2 নতুন কি:.

• Scala সংস্করণ 2.9.3 আপডেট
  কর্মক্ষমতা সংশোধন করা হয়েছে এবং একটি কনফিগার করা যাবে স্টোরেজ স্তর সহ <লি> bagel প্রয়োগের বিভিন্ন উন্নত.

<লি> নতুন এপিআই পদ্ধতি:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, এবং অন্যদের
<লি> প্রতিটি গুনতি পর্যায় সম্পর্কে তথ্য সংগ্রহ করা, ইন্টারফেস, SparkListener রিপোর্ট একটি নতুন বৈশিষ্ট্যের মান:. টাস্ক লেন্থ, shuffled বাইট, ইত্যাদি
<লি> কে-মাধ্যম এবং কম্পিউটিং Pi সহ জাভা এপিআই ব্যবহার করে বেশ কিছু নতুন উদাহরণ.


সংস্করণ 0.7.0 নতুন কি:

• 0.7 স্ফুলিঙ্গ PySpark নামক একটি Python API উপস্থিত যোগ <. / li>
  <লি> স্পার্ক কাজ এখন প্রোগ্রাম প্রতিটি বিতরণ ডেটা সেটটি (RDD) এর মেমরির ব্যবহার পর্যবেক্ষণ জন্য একটি ওয়েব ড্যাশবোর্ড আরম্ভ.

<লি> স্পার্ক এখন SBT ছাড়াও Maven ব্যবহার করে নির্মিত করা যাবে.


সংস্করণ 0.6.1 নতুন কি:

• স্থায়ী মাত্রাতিরিক্ত আক্রমনাত্মক বার্তা যে শ্রমিকদের হতে পারে সময়সীমা উত্তীর্ণ ক্লাস্টার থেকে সংযোগ বিচ্ছিন্ন করুন.

<লি> HDFS এলাকায় প্রভাবিত, নির্ধারণকারী হোস্টনেম এক্সপোজ না যে স্বতন্ত্র স্থাপন মোডে একটি বাগ সংশোধন করা হয়েছে.
ব্যাপকভাবে ছোট shuffles গতি বাড়াতে পারেন, যা <লি> এলোমেলো উন্নত সংযোগ পুনঃব্যবহারের.
<লি> ব্লক ম্যানেজার স্থায়ী কিছু সম্ভাব্য ডেডলক.
<লি> পূর্বে থেকে ব্যর্থ সর্বক্ষমতার অধিকারী ID- র পেয়ে একটি বাগ সংশোধন করা হয়েছে.
স্পট দৃষ্টান্ত ভাল হ্যান্ডলিং মত <লি> বেশ কিছু EC2 স্ক্রিপ্ট উন্নতি.
<লি> যে স্পার্ক স্বনির্ধারিত binds স্থানীয় IP ঠিকানা.
<লি> Hadoop 2 ডিস্ট্রিবিউশন জন্য সমর্থন.
<লি> ডেবিয়ান ডিস্ট্রিবিউশনের উপর Scala লোকেটিং জন্য সমর্থন.


সংস্করণ 0.6.0 নতুন কি:.

• সহজ স্থাপনার

<লি> স্পার্ক এর ডকুমেন্টেশন একটি নতুন কুইক স্টার্ট গাইড, অতিরিক্ত স্থাপনার নির্দেশাবলী, কনফিগারেশন গাইড, সাময়িক গাইড, এবং উন্নত Scaladoc এপিআই ডকুমেন্টেশন সাথে প্রসারিত করা হয়েছে.
<লি> অ্যাসিঙ্ক্রোনাস জাভা Nio ব্যবহার করে একটি নতুন কমিউনিকেশন ম্যানেজার এলোমেলো অপারেশন বিশেষত তথ্য বা কাজ অনেক কর্ম আছে যখন বিশাল পরিমাণ পাঠানোর সময়, দ্রুত চালাতে দেয়.
• নতুন স্টোরেজ ম্যানেজার সমর্থন প্রতি ডেটা সেটটি স্টোরেজ স্তর সেটিংস (যেমন ইত্যাদি, অথবা এমনকি নোড জুড়ে অনুলিপি তৈরি করছে, ডিস্কে, deserialized, মেমরি ডেটা সেটটি রাখা কিনা).

<লি> উন্নত ডিবাগ.

12 May 15 মধ্যে উন্নয়ন সরঞ্জাম স্ক্রিপ্ট, ওয়েব সার্ভার স্ক্রিপ্ট