Apache Spark

স্পনসর্ড লিংক:
সফটওয়্যার স্ক্রিনশট:
Apache Spark
সফটওয়্যার বিবরণ:
সংস্করণ: 1.3.1 আপডেট
তারিখ আপলোড: 12 May 15
ডেভেলপার: UC Berkeley AMP Lab
লাইসেন্স: বিনামূল্যে
জনপ্রিয়তা: 17

Rating: 0.0/5 (Total Votes: 0)

স্পনসর্ড লিংক:

স্পার্ক তথ্য বিশ্লেষণ এবং ম্যানিপুলেশন প্রোগ্রাম জন্য প্রসেসিং গতি উন্নতি করার পরিকল্পনা করা হয়েছিল.
এটা জাভা এবং Scala লেখা এবং তারা মূলধারার না হন কিংবা অ-ডেটা প্রসেসিং অ্যাপ্লিকেশনের জন্য যে দরকারী বেশিরভাগ কারণ, অন্যান্য সিস্টেমের মধ্যে খুঁজে পাওয়া যায় নি বৈশিষ্ট্য উপলব্ধ করা হয় ছিল.

নতুন কি এই রিলিজে:.

  • কোর API- টি বর্তমানে ব্যয়বহুল অপারেশন কমাতে গতি বাড়াতে সাহায্য করার মাল্টি লেভেল অ্যাগ্রিগেশন গাছ সমর্থন

  • <লি> উন্নত এরর রিপোর্টিং নির্দিষ্ট gotcha অস্ত্রোপচারের জন্য যোগ করা হয়েছে.
    <লি> স্পার্ক এর জেটি নির্ভরতা এখন ব্যবহারকারী প্রোগ্রাম সঙ্গে দ্বন্দ্ব এড়াতে সাহায্য ছায়াময় হয়.


    <লি> স্পার্ক এখন কিছু যোগাযোগ শেষ জন্য SSL এনক্রিপশন সমর্থন করে.
    <লি> রিয়েলটাইম জিসি বৈশিষ্ট্যের মান এবং রেকর্ড সংখ্যা UI 'তে যোগ করা হয়েছে.

    সংস্করণ 1.3.0 নতুন কি:

    • কোর API- টি বর্তমানে সমর্থন করে মাল্টি লেভেল অ্যাগ্রিগেশন গাছ ব্যয়বহুল অপারেশন কমাতে গতি বাড়াতে সাহায্য করার.

    • <লি> উন্নত এরর রিপোর্টিং নির্দিষ্ট gotcha অস্ত্রোপচারের জন্য যোগ করা হয়েছে.
      <লি> স্পার্ক এর জেটি নির্ভরতা এখন ব্যবহারকারী প্রোগ্রাম সঙ্গে দ্বন্দ্ব এড়াতে সাহায্য ছায়াময় হয়.


      <লি> স্পার্ক এখন কিছু যোগাযোগ শেষ জন্য SSL এনক্রিপশন সমর্থন করে.
      <লি> রিয়েলটাইম জিসি বৈশিষ্ট্যের মান এবং রেকর্ড সংখ্যা UI 'তে যোগ করা হয়েছে.

      কি সংস্করণ 1.2.1 নতুন:

      • PySpark এর সাজানোর অপারেটর এখন বড় ডেটাসেট জন্য বহিরাগত spilling সমর্থন .

      • <লি> PySpark এখন 2GB চেয়ে ব্রডকাস্ট ভেরিয়েবল বড় সমর্থন করে এবং প্রকারের সময় বহিরাগত spilling সঞ্চালিত হবে.
        <লি> স্পার্ক একটি কাজ-স্তরের অগ্রগতি স্পার্ক UI 'তে পাতা, অগ্রগতি প্রতিবেদনের জন্য একটি স্থিতিশীল এপিআই, এবং কাজ সম্পূর্ণ. হিসাবে আউটপুট বৈশিষ্ট্যের মান গতিশীল আপডেট যোগ
        <লি> স্পার্ক এখন ইমেজ এবং অন্যান্য বাইনারি ফরম্যাটের জন্য বাইনারি ফাইল পড়ার জন্য সমর্থন আছে.

        সংস্করণ 1.0.0 নতুন কি:

        • এই রিলিজে, স্পার্ক এর স্ট্যান্ডার্ড লাইব্রেরী বিস্তৃতি একটি নতুন উপস্থাপক যা আপনাকে এসকিউএল প্যাকেজ (স্পার্ক এসকিউএল) বিদ্যমান ব্যবহারকারীদের স্পার্ক workflows মধ্যে এসকিউএল কোয়েরি সংহত.

        • <লি> MLlib, স্পার্ক এর মেশিন লার্নিং লাইব্রেরি, বিক্ষিপ্ত ভেক্টর সমর্থন এবং বেশ কিছু নতুন আলগোরিদিম সঙ্গে প্রসারিত করা হয়েছে.

          কি সংস্করণ 0.9.1 নতুন:

          • বহিরাগত spilling স্থায়ী হ্যাশ সংঘর্ষের বাগ
            <লি> অন্যান্য লগিং এন্ডের উপর নির্ভর ব্যবহারকারীদের জন্য স্পার্ক এর log4j সঙ্গে স্থায়ী দ্বন্দ্ব

          • <লি> স্থায়ী Graphx Maven মধ্যে স্পার্ক সমাবেশ বয়াম থেকে অনুপস্থিত তৈরী করুন
            Akka ফ্রেম সাইজ মাত্রাধিক আউটপুট অবস্থা ম্যাপ কারণে <লি> স্থায়ী নীরব ব্যর্থতা
            <লি> এস এম উপর সরানো হয়েছে স্পার্ক এর অপ্রয়োজনীয় সরাসরি নির্ভরতা
            LGPL লাইসেন্স সংঘাতের কারণে ডিফল্ট বিল্ড থেকে <লি> সরানো হয়েছে বৈশিষ্ট্যের মান-ganglia
            <লি> বন্টন tarball রূপে স্থায়ী বাগ ধারণকারী না স্পার্ক সমাবেশ বয়াম

            কি সংস্করণ 0.8.0 নতুন:

            • উন্নয়ন একটি হিসাবে এ্যাপাচি Sowftware ফাউন্ডেশন থেকে সরানো হয়েছে ইনকিউবেটর প্রকল্প.

            • সংস্করণ 0.7.3 নতুন কি:

              <লি> পাইথন কর্মক্ষমতা

                : পাইথন ভার্চুয়াল মেশিনের ডিম ছাড়ার জন্য স্পার্ক এর প্রক্রিয়া আছে JVM Python API উপস্থিত দ্রুত গাড়ী চালানোর আপ, একটি বড় গাদা আকার আছে যখন দ্রুত যাতে না উন্নত করা.


                <লি> পূর্বে সংশোধন করা হয়েছে: পূর্বে টাস্ক ফলাফল deserializing যখন আপনার কাজ যোগ বয়াম এখন ক্লাসপাথ হবে .
                <লি> এরর রিপোর্টিং:. অ serializable ব্যতিক্রম এবং মাত্রাতিরিক্ত বড় টাস্ক ফলাফলের জন্য ভাল এরর রিপোর্টিং
                <লি> উদাহরণ:. UpdateStateByKey সঙ্গে stateful প্রবাহ প্রক্রিয়াকরণ একটি উদাহরণ যোগ করা হয়েছে
                <লি> বিল্ড:. প্রবাহিত আর এটা চীন মধ্যে নির্মাণ করতে পারবেন উচিত যা Twitter4J রেপো উপর নির্ভর করে স্পার্ক
                <লি> foldByKey বাগ সংশোধন করা হয়েছে, স্ট্রিমিং গণনা, পরিসংখ্যান পদ্ধতি, ডকুমেন্টেশন, এবং ওয়েব UI 'তে.

                সংস্করণ 0.7.2 নতুন কি:.

                • Scala সংস্করণ 2.9.3 আপডেট
                  কর্মক্ষমতা সংশোধন করা হয়েছে এবং একটি কনফিগার করা যাবে স্টোরেজ স্তর সহ <লি> bagel প্রয়োগের বিভিন্ন উন্নত.

                • <লি> নতুন এপিআই পদ্ধতি:. SubtractByKey, foldByKey, mapWith, filterWith, foreachPartition, এবং অন্যদের
                  <লি> প্রতিটি গুনতি পর্যায় সম্পর্কে তথ্য সংগ্রহ করা, ইন্টারফেস, SparkListener রিপোর্ট একটি নতুন বৈশিষ্ট্যের মান:. টাস্ক লেন্থ, shuffled বাইট, ইত্যাদি
                  <লি> কে-মাধ্যম এবং কম্পিউটিং Pi সহ জাভা এপিআই ব্যবহার করে বেশ কিছু নতুন উদাহরণ.

                  সংস্করণ 0.7.0 নতুন কি:

                  • 0.7 স্ফুলিঙ্গ PySpark নামক একটি Python API উপস্থিত যোগ <. / li>
                    <লি> স্পার্ক কাজ এখন প্রোগ্রাম প্রতিটি বিতরণ ডেটা সেটটি (RDD) এর মেমরির ব্যবহার পর্যবেক্ষণ জন্য একটি ওয়েব ড্যাশবোর্ড আরম্ভ.

                  • <লি> স্পার্ক এখন SBT ছাড়াও Maven ব্যবহার করে নির্মিত করা যাবে.

                    সংস্করণ 0.6.1 নতুন কি:

                    • স্থায়ী মাত্রাতিরিক্ত আক্রমনাত্মক বার্তা যে শ্রমিকদের হতে পারে সময়সীমা উত্তীর্ণ ক্লাস্টার থেকে সংযোগ বিচ্ছিন্ন করুন.

                    • <লি> HDFS এলাকায় প্রভাবিত, নির্ধারণকারী হোস্টনেম এক্সপোজ না যে স্বতন্ত্র স্থাপন মোডে একটি বাগ সংশোধন করা হয়েছে.
                      ব্যাপকভাবে ছোট shuffles গতি বাড়াতে পারেন, যা <লি> এলোমেলো উন্নত সংযোগ পুনঃব্যবহারের.
                      <লি> ব্লক ম্যানেজার স্থায়ী কিছু সম্ভাব্য ডেডলক.
                      <লি> পূর্বে থেকে ব্যর্থ সর্বক্ষমতার অধিকারী ID- র পেয়ে একটি বাগ সংশোধন করা হয়েছে.
                      স্পট দৃষ্টান্ত ভাল হ্যান্ডলিং মত <লি> বেশ কিছু EC2 স্ক্রিপ্ট উন্নতি.
                      <লি> যে স্পার্ক স্বনির্ধারিত binds স্থানীয় IP ঠিকানা.
                      <লি> Hadoop 2 ডিস্ট্রিবিউশন জন্য সমর্থন.
                      <লি> ডেবিয়ান ডিস্ট্রিবিউশনের উপর Scala লোকেটিং জন্য সমর্থন.

                      সংস্করণ 0.6.0 নতুন কি:.

                      • সহজ স্থাপনার

                      • <লি> স্পার্ক এর ডকুমেন্টেশন একটি নতুন কুইক স্টার্ট গাইড, অতিরিক্ত স্থাপনার নির্দেশাবলী, কনফিগারেশন গাইড, সাময়িক গাইড, এবং উন্নত Scaladoc এপিআই ডকুমেন্টেশন সাথে প্রসারিত করা হয়েছে.
                        <লি> অ্যাসিঙ্ক্রোনাস জাভা Nio ব্যবহার করে একটি নতুন কমিউনিকেশন ম্যানেজার এলোমেলো অপারেশন বিশেষত তথ্য বা কাজ অনেক কর্ম আছে যখন বিশাল পরিমাণ পাঠানোর সময়, দ্রুত চালাতে দেয়.
                      • নতুন স্টোরেজ ম্যানেজার সমর্থন প্রতি ডেটা সেটটি স্টোরেজ স্তর সেটিংস (যেমন ইত্যাদি, অথবা এমনকি নোড জুড়ে অনুলিপি তৈরি করছে, ডিস্কে, deserialized, মেমরি ডেটা সেটটি রাখা কিনা).

                      • <লি> উন্নত ডিবাগ.

অনুরূপ সফ্টওয়্যার

Apache Geronimo
Apache Geronimo

13 Apr 15

XCloner
XCloner

1 Oct 15

Apache Wookie
Apache Wookie

13 Apr 15

মন্তব্য Apache Spark

পাওয়া মন্তব্যসমূহ না
মন্তব্য যোগ করুন
ছবি চালু!
বিভাগ দ্বারা অনুসন্ধান