إطار عمل Apache Spark للمطورين: المستوى المتقدم - الدورة 41500 فرك. من مركز تدريب IBS التدريب 24 ساعة التاريخ 26 نوفمبر 2023.
Miscellanea / / December 05, 2023
يوفر التدريب فهمًا تفصيليًا للبنية الداخلية وعمل إطار عمل Apache Spark - كل من Spark Core (RDD) وSpark SQL وSpark Streaming وSpark Structured Streaming. يتم النظر في آليات إطلاق مكونات مجموعة Spark تحت سيطرة مديري المجموعات المختلفين، وإدارة تخصيص الموارد (الذاكرة في المقام الأول)، وآليات عمل المجدولين. يتم استكشاف مزايا تنسيق التمثيل الداخلي التنغستن وتشغيل مُحسِّن Catalyst بالتفصيل.
المواضيع التي تمت تغطيتها:
سبارك البنية الداخلية، سبارك وقت التشغيل البيئة
إعداد سياق الشرارة، SparkConf
RDD الداخلية، التخطيط المنطقي
أفضل الممارسات للبرمجة باستخدام RDD
الخطة المادية: العمل والمراحل والمهام
المخططون وتنفيذ الخطة المادية
ضبط الذاكرة، والتسلسل، والتخزين المؤقت، وجمع البيانات المهملة
واجهة برمجة تطبيقات مصدر البيانات، تمثيل البيانات الداخلية التنغستن، تنسيقات الملفات
محفز محسن
Microbatch Spark Streaming: استقبال البيانات وإخراجها
التدفق المنظم: تلقي البيانات وتوزيعها