أساسيات كافكا - دورة 42000 فرك. من مركز تدريب IBS، التدريب 24 ساعة، التاريخ: 4 ديسمبر 2023.
Miscellanea / / November 29, 2023
المواضيع التي تمت تغطيتها:
1. المراجعة (نظرية – ساعة واحدة)
ما هو كافكا.
أمثلة على الاستخدام الناجح وغير الناجح لكافكا.
كافكا وقاعدة البيانات: أوجه التشابه والاختلاف.
كافكا وقائمة انتظار الرسائل: أوجه التشابه والاختلاف.
بنية تخزين كافكا: الوسطاء، المواضيع، الأقسام، الشرائح، النسخ المتماثلة.
بنية مجموعة كافكا: Zookeeper، التقسيم، عقد النسخ المتماثل الرئيسية والتابعة، ISR.
العملاء وواجهات برمجة التطبيقات.
2. إنشاء مجموعة (تدريب - ساعة واحدة)
الممارسة 2.1: تشغيل مجموعة كافكا باستخدام Docker.
تثبيت برنامج Zookeeper.
تثبيت وسطاء كافكا.
3. تطوير التطبيقات في Java (نظري – 2.5 ساعة، تدريب – 2.5 ساعة)
واجهة برمجة تطبيقات منتج كافكا: الأساسيات.
الممارسة 3.1: إرسال رسالة واحدة.
الممارسة 3.2: إرسال رسائل متعددة.
التدريب 3.3: إرسال رسائل متعددة مع تقسيم صريح.
التدريب 3.4: إرسال الرسائل بدون مفاتيح.
Kafka Consumer API: الأساسيات ومجموعات المستهلكين.
الممارسة 3.5: مستلم واحد.
الممارسة 3.6: مستلمون متعددون في مجموعة واحدة.
ميزات إضافية: الحزم، التكرار، العجز، المعاملات، إعادة التوازن لمجموعات المستهلكين.
الممارسة 3.7: مرسل بدون حزم وتكرارات.
الممارسة 3.8: المرسل العاجز.
الممارسة 3.9: مرسل المعاملات.
الممارسة 3.10: الإرسال والاستلام في المعاملة.
الممارسة 3.11: الاستلام والمعالجة والإرسال في المعاملة.
4. الوصول الخارجي إلى مجموعة كافكا (النظرية – ساعتان، الممارسة – ساعتان)
الأمان: SSL، SASL، Kerberos.
REST Proxy: إرسال واستقبال الرسائل بتنسيقات JSON والثنائية وAvro.
الممارسة 4.1: الوصول عبر REST Proxy.
سجل المخطط: سجل المخطط.
الممارسة 4.2: استخدام وكيل REST مع سجل المخطط.
5. الصيانة والمراقبة (النظرية – ساعة واحدة، الممارسة – ساعة واحدة)
إنشاء كتلة لأغراض مختلفة.
Zookeeper: التكوين، الوضع المستقل والنصاب القانوني، CLI.
الممارسة 5.1: مراقبة مجموعة كافكا باستخدام بروميثيوس.
6. عدة مجموعات (النظرية – ساعة واحدة، الممارسة – ساعة واحدة)
لماذا قد تحتاج إلى مجموعات متعددة في كافكا؟
MirrorMakerAccess.
الممارسة 6.1: استخدام MirrorMaker لمزامنة المجموعات.
ناسخ التقارب.
7. كافكا كونيكت (النظرية – ساعتان، الممارسة – ساعتان)
بنية كافكا كونيكت.
أحواض بيانات Kafka Connect.
الممارسة 7.1: جهاز استقبال الملفات FileStream.
الممارسة 7.2: جهاز استقبال JDBC.
كافكا ربط مصادر البيانات.
الممارسة 7.3: مصدر FileStream.
الممارسة 7.4: مصدر JDBC.
8. أساسيات تيارات كافكا (النظرية – ساعتان، الممارسة – ساعتان)
تدفقات كافكا: DSL، API، StreamBuilder، إنشاء وتنفيذ الهيكل.
العرض التوضيحي 8.1: تنفيذ طوبولوجيا التدفقات.
العرض التوضيحي 8.2: إنشاء تطبيق Streams باستخدام StreamBuilder.
جهاز Kafka Streams: متعدد الخيوط، ومثيلات ومهام متعددة.
مخططات البيانات في كافكا: التسلسل إلى مخططات JSON، مخططات Avro، سجل المخطط، تطور المخطط.
العرض التوضيحي 8.3: استخدام مخططات JSON.
معالجة الحالة: متجر الحالة، التسامح مع الأخطاء لمتاجر الدولة.
KTable: تدفقات تحديث البيانات، والتخزين المؤقت، وسرعة الاسترجاع، والتجميع.
النوافذ في التدفقات: الطوابع الزمنية، العائمة، القفز، الجلسة.
الاتصال: تيار إلى تيار، KTable إلى KTable، تيار إلى KTable.