يعد خلل البيانات مشكلة شائعة وصعبة في تدريب المحولات المفتوحة الحالية. كمورد للمحولات المفتوحة الحالية ، لدينا خبرة واسعة في الفهم العمق لكيفية التعامل مع هذه المشكلة. في هذه المدونة ، سوف نستكشف الأساليب والاستراتيجيات التي تستخدمها المحولات المفتوحة الحالية لمعالجة اختلال البيانات أثناء التدريب.
فهم اختلال البيانات في تدريب المحولات
يشير اختلال البيانات إلى موقف لا يكون فيه توزيع الفئات في مجموعة البيانات موحدة. في سياق المحولات المفتوحة الحالية ، يمكن أن يحدث هذا في تطبيقات مختلفة ، مثل الكشف عن الأخطاء في الأنظمة الكهربائية. على سبيل المثال ، في مجموعة بيانات للكشف عن الأعطال الكهربائية ، قد تفوق ظروف التشغيل العادية عدد الظروف غير الطبيعية أو الخاطئة. هذا الخلل يمكن أن يؤدي إلى عدة مشاكل أثناء التدريب.
عندما يتم تدريب محول على مجموعة بيانات غير متوازنة ، فإنه يميل إلى أن يكون متحيزًا نحو فئة الأغلبية. قد يحقق النموذج دقة عالية على فئة الأغلبية ولكن أداء ضعيف على فئة الأقليات. في سيناريو الكشف عن الصدع الكهربائي ، قد يكون المحول جيدًا جدًا في تحديد ظروف التشغيل العادية ولكنه يفشل في اكتشاف الأخطاء النادرة ، والتي غالبًا ما تكون الأكثر أهمية في تحديدها.
تقنيات أخذ العينات
واحدة من أكثر الطرق شيوعًا للتعامل مع اختلال البيانات هي من خلال تقنيات أخذ العينات. هناك نوعان رئيسيان من أخذ العينات: الإفراط في أخذ العينات والأخطاء.
الزائد
يتضمن الإفراط في التغلب على زيادة عدد العينات في فئة الأقلية. يمكن القيام بذلك بعدة طرق. إحدى الطرق الشائعة هي الأقلية الاصطناعية - تقنية أخذ العينات (SHITE). يخلق Smote عينات اصطناعية لفئة الأقليات من خلال الاستيفاء بين عينات فئة الأقليات الحالية.
في المحولات المفتوحة الحالية لدينا ، قمنا بتنفيذ نسخة معدلة من Smote. نقوم بتحليل خصائص نقاط بيانات فئة الأقليات وننشئ عينات اصطناعية أكثر تمثيلا للسيناريوهات العالمية الحقيقية. على سبيل المثال ، في حالة بيانات الصدع الكهربائي ، نعتبر المعلمات الكهربائية والوقت - طبيعة السلسلة للبيانات عند إنشاء عينات اصطناعية. يساعد هذا المحول على تعلم أنماط فئة الأقلية بشكل أفضل وتحسين قدرته على اكتشاف الأخطاء النادرة.
[CTKD Current Open Transformer] (/Fire - مراقبة - المتبقية - الحالية - المحول/CTKD - الحالية - المفتوحة - transformer.html) تستفيد بشكل كبير من طريقة الإفراط في الإفراط. من خلال زيادة عدد عينات فئة الأقليات أثناء التدريب ، يمكن للمحول الحصول على الميزات الفريدة لفئة الأقليات بشكل أفضل ، مما يؤدي إلى اكتشاف خطأ أكثر دقة.
أقل من أخطاء
أقل من مجرد أختام معروف ، يقلل من عدد العينات في فئة الأغلبية. يمكن أن تكون هذه طريقة بسيطة لموازنة مجموعة البيانات ، ولكن لديها أيضًا قيود لأنها قد تؤدي إلى فقدان المعلومات القيمة.
نستخدم نهج الانتقاء الانتقائي في المحولات المفتوحة الحالية لدينا. بدلاً من إزالة العينات بشكل عشوائي من فئة الأغلبية ، نقوم بتحديد وإزالة العينات الأقل إفادة أو زائدة عن الحاجة. على سبيل المثال ، في مجموعة بيانات مع عدد كبير من عينات حالة التشغيل العادية ، قد نقوم بإزالة العينات التي لها قيم معلمة كهربائية متشابهة للغاية. بهذه الطريقة ، يمكننا تقليل الخلل دون التضحية بالكثير من المعلومات. يستخدم [CHK - CTKD Open and Close Current Transformer] (/Fire - المراقبة - المتبقية - الحالية - المحول/CHK - CTKD - مفتوح - و - إغلاق - transformer.html) هذه الاستراتيجية النقصية أثناء عملية التدريب ، مما يضمن أن النموذج يمكن أن يركز على البيانات الأكثر صلة وتحقيق أداء أفضل.
التكلفة - التعلم الحساس
نهج آخر للتعامل مع اختلال البيانات هو التكلفة - التعلم الحساس. في التعلم الآلي التقليدي ، يتم التعامل مع جميع أخطاء التصنيف الخاطئ بالتساوي. ومع ذلك ، في حالة عدم توازن البيانات ، غالبًا ما يكون تصنيف عينة من فئة الأقليات أكثر تكلفة من تصنيف عينة فئة الأغلبية.
في المحولات المفتوحة الحالية لدينا ، نقوم بتنفيذ التكلفة - التعلم الحساس من خلال تعيين تكاليف مختلفة لأنواع مختلفة من سوء التصنيف. على سبيل المثال ، في تطبيق الكشف عن الأعطال الكهربائية ، يمكن أن يكون لتصنيف الحالة المعيبة كحالة طبيعية عواقب وخيمة ، مثل الحرائق الكهربائية أو تلف المعدات. لذلك ، نقوم بتعيين تكلفة أعلى لهذا النوع من سوء التصنيف.
أثناء عملية التدريب ، يحاول المحول تقليل التكلفة الإجمالية لسوء التصنيف. هذا يشجع النموذج على إيلاء المزيد من الاهتمام لفئة الأقليات وتحسين دقة التصنيف لفئة الأقلية. تم تصميم [CHK - F مستطيل المتبقي المحول الحالي] (/النار - المراقبة - المتبقية - التيار - المحول/CHK - F - مستطيلة - المتبقية - الحالية. html) مع خوارزميات تعليمية حساسة التكلفة ، مما يمكّنها من التعامل مع اختلال البيانات بشكل أفضل في مهام الكشف عن الخطأ.
طرق الفرقة
يمكن أن تكون طرق المجموعة فعالة أيضًا في التعامل مع اختلال البيانات. يجمع نموذج الفرقة بين نماذج أساسية متعددة لإجراء تنبؤ نهائي. باستخدام نماذج أساسية مختلفة مدربة على مجموعات فرعية مختلفة من البيانات ، يمكن لنموذج الفرقة التقاط مجموعة واسعة من الأنماط وتحسين الأداء الكلي.
نستخدم تقنيات التعبئة والتعزيز في المحولات المفتوحة الحالية لدينا. يتضمن التعبئة تدريب نماذج أساسية متعددة على مجموعات فرعية مختلفة من البيانات ، والتي يتم أخذ عينات منها بشكل عشوائي مع الاستبدال. تعزيز ، من ناحية أخرى ، يدرب النماذج بشكل متتابع ، حيث يركز كل نموذج جديد على العينات التي تم تصنيفها بواسطة النماذج السابقة.
في سياق خلل البيانات ، يمكن أن تساعد طرق الفرقة المحول على تعلم أنماط فئة الأقلية بشكل أفضل. على سبيل المثال ، في فرقة تعبئة ، قد يتم تدريب بعض النماذج الأساسية على مجموعات فرعية من البيانات التي لديها توزيع متوازن نسبيًا للفئات ، مما يسمح لهم بتعلم ميزات فئة الأقلية بشكل أكثر فعالية.
مقاييس التقييم
عند التعامل مع خلل البيانات ، قد لا تكون مقاييس التقييم التقليدية مثل الدقة مناسبة. تقيس الدقة النسبة الإجمالية للعينات المصنفة بشكل صحيح ، ولكن يمكن أن تكون مضللة في وجود اختلال البيانات. على سبيل المثال ، إذا كان لدى مجموعة البيانات عينات من فئة الأغلبية 95 ٪ وعينات فئة الأقليات بنسبة 5 ٪ ، فإن النموذج الذي يتوقع دائمًا أن يحقق فئة الأغلبية دقة 95 ٪ ، على الرغم من فشلها في اكتشاف فئة الأقليات على الإطلاق.
نحن نستخدم مقاييس التقييم الأكثر ملاءمة مثل الدقة والاستدعاء والنتيجة F1. تقيس الدقة نسبة العينات الإيجابية المتوقعة بشكل صحيح من جميع العينات الإيجابية المتوقعة. يقيس الاستدعاء نسبة العينات الإيجابية المتوقعة بشكل صحيح من جميع العينات الإيجابية الفعلية. النتيجة F1 - هي الوسط التوافقي للدقة والاستدعاء ، مما يوفر مقياسًا متوازنًا لأداء النموذج.
باستخدام مقاييس التقييم هذه أثناء تدريب واختبار المحولات المفتوحة الحالية لدينا ، يمكننا تقييم قدرة النموذج بشكل أفضل على التعامل مع اختلال البيانات وإجراء التعديلات اللازمة لتحسين أدائها.
خاتمة
يمثل خلل البيانات تحديًا كبيرًا في تدريب المحولات المفتوحة الحالية. ومع ذلك ، من خلال استخدام تقنيات أخذ العينات ، والتعلم الحساسة ، وطرق المجموعة ، ومقاييس التقييم المناسبة ، يمكننا معالجة هذه المشكلة بشكل فعال. لدينا [CTKD Current Open Transformer] (/Fire - مراقبة - المتبقية - الحالية - المحول/CTKD - الحالي - المفتوح - transformer.html) ، [CHK - CTKD Open and Creating Current Transformer] (/Fire - Monitoring - Current - Firet - chk -recrative - ctkd - Open - و Illing - current.html) تم تصميم المراقبة - المتبقية - الحالية - المحول/CHK - F - مستطيلة - المتبقية - current.html) مع وضع هذه الاستراتيجيات في الاعتبار لضمان أداء مرتفع في مختلف التطبيقات ، وخاصة في اكتشاف الأحداث النادرة مثل الأعطال الكهربائية.
إذا كنت مهتمًا بمحولاتنا المفتوحة الحالية وترغب في مناقشة المشتريات ، فلا تتردد في الاتصال بنا. نحن على استعداد لتزويدك بمعلومات منتج مفصلة وحلول مصممة لتلبية احتياجاتك المحددة.
مراجع
- Chawla ، NV ، Bowyer ، KW ، Hall ، Lo ، & Kegelmeyer ، WP (2002). SHETH: أقلية اصطناعية أكثر - تقنية أخذ العينات. مجلة أبحاث الذكاء الاصطناعي ، 16 ، 321 - 357.
- Elkan ، C. (2001). أسس التكلفة - التعلم الحساس. في Ijcai (المجلد 1 ، ص 973 - 978).




