Прекомерно прилагођавање је термин који се користи у статистици и односи се на грешку у моделирању која се јавља када функција преуско одговара одређеном скупу података. Као резултат, прекомерна опрема можда неће успети да уклопи додатне податке, а то може утицати на тачност предвиђања будућих посматрања.
Прекомерно опремање може се идентификовати провером показатеља валидације као што су тачност и губици. Метрике валидације се обично повећавају до тачке у којој стагнирају или почињу да опадају када на модел утиче прекомерна опрема. Током узлазног тренда, модел тражи добро прилагођавање, што када постигне, тренд почиње да опада или стагнира.
Кратак сажетак
- Прекомерно прилагођавање је грешка у моделирању која уводи пристрасност у модел јер је преуско повезана са скупом података.
- Прекомерна опремљеност чини модел релевантним само за његов скуп података и небитним за било који други скуп података.
- Неке од метода које се користе за спречавање прекомерне опремљености укључују састављање, увећавање података, поједностављивање података и унакрсну проверу ваљаности.
Како открити прекомерно опремање?
Откривање прекомерне опремљености готово је немогуће пре него што тестирате податке. Може помоћи у решавању инхерентне карактеристике прекомерне опреме, а то је немогућност генерализовања скупова података. Подаци се, према томе, могу раздвојити у различите подскупове како би се олакшало оспособљавање и тестирање. Подаци су подељени у два главна дела, тј. Тест сет и сет тренинга.
Сет обуке представља већину доступних података (око 80%) и обучава модел. Тест скуп представља мали део скупа података (око 20%) и користи се за тестирање тачности података са којима никада раније није комуницирао. Сегментирањем скупа података можемо испитати перформансе модела на сваком скупу података да бисмо уочили прекомерно опремање када се догоди, као и да видимо како функционише процес обуке.
Перформансе се могу мерити помоћу процента тачности уочене у оба скупа података да би се закључило о присуству прекомерне опреме. Ако модел има боље резултате на скупу за обуку него на скупу за тестирање, то значи да је модел вероватно претерано опремљен.
Како спречити прекомерно опремање?
Испод су неки од начина за спречавање прекомерне опреме:
1. Тренинг са више података
Један од начина да се спречи прекомерно опремање је тренинг са више података. Таква опција олакшава алгоритмима Алгоритми (Алгос) Алгоритми (Алгос) су скуп упутстава која се уводе за извршавање задатка. Алгоритми се уводе за аутоматизацију трговања ради генерисања профита на фреквенцији немогућој за трговца људима да открије сигнал боље да се грешке сведу на минимум. Како корисник у модел уноси више података о обуци, неће бити у могућности да прекомерно опреми све узорке и биће приморан да уопштава да би добио резултате.
Корисници би требали континуирано прикупљати више података као начин повећања тачности модела. Међутим, овај метод се сматра скупим и зато корисници треба да се побрину да подаци који се користе буду релевантни и чисти.
2. Повећавање података
Алтернатива тренингу са више података је увећавање података, што је јефтиније у поређењу са претходним. Ако не можете континуирано прикупљати више података, доступне скупове података можете учинити различитим. Повећавање података чини да узорак података изгледа мало другачије сваки пут када их модел обрађује. Процес чини да се сваки скуп података чини јединственим за модел и спречава модел да научи карактеристике скупова података.
Друга опција која ради на исти начин као и увећавање података је додавање шума улазним и излазним подацима. Додавањем шума на улаз чини модел стабилним, без утицаја на квалитет података и приватност, док додавање шума на излаз чини податке разноврснијим. Међутим, додавање шума треба радити умерено, тако да опсег буке не буде толико да податке учини нетачним или превише различитим.
3. Поједностављивање података
Прекомерно прилагођавање може настати због сложености модела, тако да, чак и уз велике количине података, модел и даље успева да прекомпонује скуп података о обуци. Метода поједностављења података користи се за смањење прекомерне опремљености смањењем сложености модела како би био довољно једноставан да се не прекомерно прилагођава.
Неке од радњи које се могу спровести укључују обрезивање стабла одлука, смањење броја параметара Параметар А параметар је корисна компонента статистичке анализе. Односи се на карактеристике које се користе за дефинисање дате популације. То се користи у неуронској мрежи и користи осипање на неутралној мрежи. Поједностављивање модела такође може учинити модел лакшим и бржим.
4. Окупљање
Окупљање је техника машинског учења која функционише комбиновањем предвиђања из два или више одвојених модела. Најпопуларнији начини састављања укључују појачавање и додавање у вреће. Појачавање ради коришћењем једноставних основних модела како би се повећала њихова укупна сложеност. Обучава велики број слабих ученика распоређених у низ, тако да сваки ученик у низу учи на грешкама ученика пре њега.
Појачавање комбинује све слабе ученике у низу да би се извео један јак ученик. Други начин окупљања је паковање у вреће, што је супротно појачавању. Багинг функционише тако што тренира велики број снажних ученика распоређених у паралелном обрасцу, а затим их комбинује како би оптимизовао своја предвиђања.
Више ресурса
Финанце је званични добављач глобалног аналитичара за финансијско моделирање и вредновање (ФМВА) ™ ФМВА® сертификација Придружите се 350.600+ ученика који раде у компанијама попут Амазона, ЈП Моргана и Ферраријевог сертификационог програма, осмишљеног да помогне свима да постану финансијски аналитичари светске класе . Да бисте наставили напредовати у каријери, корисни ће вам бити додатни финансијски ресурси у наставку:
- Основни појмови о статистици у финансијама Основни појмови о статистици о финансијама Чврсто разумевање статистике од пресудне је важности за боље разумевање финансија. Штавише, концепти статистике могу помоћи инвеститорима да надгледају
- Предрасуде у вези са рударством података Предрасуде у вези са рударством података Предрасуде у вези са рударством података односе се на претпоставку важности коју трговац приписује догађају на тржишту који је заправо био резултат случајности или непредвиђено
- Случајна шума Случајна шума Случајна шума је техника која се користи за моделирање предвиђања и анализе понашања и изграђена је на стаблима одлука. Случајна шума садржи мноштво стабала одлучивања
- Безусловна вероватноћа Безусловна вероватноћа Безусловна вероватноћа, позната и као маргинална вероватноћа, односи се на вероватноћу на коју претходни или будући догађаји не утичу. Другим речима,
