Ausreißer: Definition, Schritte zum Erkennen, Eliminieren von Ausreißern und Schritte zum Umgang damit

SHARE THE ARTICLE ON

Ausreißer: Definition, Schritte zum Erkennen, Eliminieren von Ausreißern und Schritte zum Umgang damit Ausreißer: Definition
Table of Contents

Möglicherweise sind die wichtigsten Fortschritte bei der Datenvorverarbeitung die Erkennung und Berücksichtigung von Ausreißern, da diese die messbare Analyse und den Vorbereitungszyklus einer KI-Berechnung negativ beeinflussen können, was zu einer geringeren Genauigkeit führt.

Leitfaden für explorative Forschung

Die Durchführung von Sondierungs Forschung scheint schwierig zu sein, aber ein effektiver Leitfaden kann helfen.

Was ist ein Ausreißer?

In der prädiktiven Analytik sind Ausreißer Werte innerhalb eines Datensatzes, die außergewöhnlich von den anderen abweichen – sie sind entweder viel größer oder wesentlich bescheidener. Ausreißer können auf Unstimmigkeiten in einer Schätzung, auf Fehler bei der Erkundung oder auf Neugierde hinweisen. In einem nachweisbaren Modell ist die normale Statur einer Giraffe etwa 16 Fuß groß. In jedem Fall gibt es immer wieder Enthüllungen über zwei Giraffen, die 9 Fuß und 8,5 Fuß groß sind, getrennt voneinander. Diese beiden Giraffen würden als Ausreißer im Vergleich zur Gesamtpopulation der Giraffen betrachtet.

Bei der Durchführung von prädiktiven Analysen können Ausreißer zu Besonderheiten bei den erzielten Ergebnissen führen. Dies bedeutet, dass sie eine besondere Betrachtung erfordern und manchmal herausgenommen werden sollten, um Informationen erfolgreich aufzuschlüsseln.

Es gibt zwei Hauptgründe, warum die besondere Berücksichtigung von Ausreißern ein wesentlicher Bestandteil des Informations Analyseprozesses ist:

  • Ausreißer können sich negativ auf das Ergebnis einer Analyse auswirken
  • Ausreißer oder ihre Verhaltensweisen könnten die Daten sein, die ein Informations Forscher von der Analyse erwartet

Was sind die entscheidenden Schritte, um eine Vielzahl von Ausreißern zu erkennen?

Unabhängig von der Branche und der Informationsquelle sollte ein System zur Erkennung von Ausreißern ein breites Spektrum von Ausreißern in Zeitreihen Informationen aufspüren, und zwar kontinuierlich und in einer Größenordnung von Millionen von Messungen.

Ausreißer- und Ausreißer Ortungs Berechnungen sind in der wissenschaftlichen Gemeinschaft erforscht worden und haben in letzter Zeit begonnen, sich als Geschäfts Verwaltungsprogramme sowie als Open-Source-Programmierung zu öffnen. Alle beruhen auf faktischen und KI-Berechnungen und bestimmten Strategien, z. B. ARIMA, Holt-Winters, dynamischen Zustandsraummodellen (HMM), PCA-Analysen, LSTMs und RNNs und einigen mehr. Neben den Basis Berechnungen gibt es zahlreiche zusätzliche Überlegungen beim Aufbau eines solchen Rahmens.

Eine ausführliche Anleitung zur Erstellung eines solchen Frameworks wird in dem 3-teiligen Whitepaper zur Unregelmäßigkeit Erkennung dargestellt. Die wichtigsten Schritte, die für alle Basis Berechnungen zur Ermittlung von Ausreißern wesentlich sind und die bei der Erkennung der verschiedenen Arten von Ausreißern helfen, sind:

  • Auswahl des am besten geeigneten Modells und Umlaufs für jede Zeitreihe: Dies ist ein grundlegender Schritt zur Erkennung von Ausreißern, da sich Zeitreihen auf unterschiedliche Weise verhalten können (fest, nicht fest, sporadisch untersucht, diskret usw.), was jeweils ein anderes Modell der gewöhnlichen Verhaltensweise mit einer anderen versteckten Verbreitung erfordert.
  • Darstellung von Gelegenheits- und Muster Mustern: Relevante und aggregierte Ausreißer können nur dann erkannt werden, wenn Unregelmäßigkeiten und Muster in den Modellen, die das gewöhnliche Verhalten abbilden, nicht dargestellt werden. Die Unterscheidung von beidem ist daher für ein robotisiertes System zur Erkennung von Unregelmäßigkeiten von entscheidender Bedeutung, da die beiden nicht für alle Informationen physikalisch charakterisiert werden können.
  • Die Identifizierung von aggregierten Unregelmäßigkeiten umfasst die Ermittlung der Verbindungen zwischen verschiedenen Zeitreihen und deren Darstellung zur Erkennung und Untersuchung von Inkonsistenzen.

Ausreißer sind regelmäßig auffällige Begleiterscheinungen grundlegender Probleme, die man schnell beheben möchte. Allerdings sind diese Nebeneffekte nur so offensichtlich, wie Ihr Rahmenwerk zur Ausreißererkennung sie erscheinen lässt.

Wann wäre es eine gute Idee, Ausreißer zu eliminieren?

Es mag normal erscheinen, Ausreißer als Bestandteil des Informations Reinigungsprozesses eliminieren zu müssen. Doch in Wirklichkeit ist es ab und zu besser, ja sogar absolut wichtig, Ausreißer in Ihrem Datensatz zu behalten.

 

Die Eliminierung von Ausreißern ausschließlich aufgrund ihrer Position innerhalb der Grenzen Ihres Datensatzes kann zu Unregelmäßigkeiten in Ihren Ergebnissen führen, die für Ihre Ziele als Datenanalytiker kontraproduktiv wären. Diese Unregelmäßigkeiten könnten dazu führen, dass der Analyse eine geringere Bedeutung beigemessen wird

See Voxco survey software in action with a Free demo.

Wie geht man mit Ausreißern um?

Im Folgenden werden die Schritte zum Umgang mit den Ausreißern beschrieben;

  • Löschung der Werte: Sie können die Ausreißer löschen, wenn Sie erkennen, dass die Ausreißer falsch sind, oder wenn Sie davon ausgehen, dass die Erklärung für die Ausreißer nie wieder vorkommen wird. Zum Beispiel gibt es eine Informationssammlung von Altersgruppen, und das typische Alter liegt zwischen 0 und 90, aber es gibt eine Information Passage ab dem Alter 150, was fast undenkbar ist. Daher können wir den Wert 150 getrost streichen.
  • Ändern der Werte: Wir können ebenfalls die Werte in den Situationen ändern, in denen wir die Begründung für die Ausreißer kennen. Nehmen wir das vergangene Modell für Schätz- oder Instrumentenfehler, bei dem wir 10 Voltmeter hatten, von denen ein Voltmeter defekt war. In diesem Fall können wir eine weitere Reihe von Messwerten mit dem richtigen Voltmeter ermitteln und sie durch die Messwerte des defekten Voltmeters ersetzen.
  • Änderung von Informationen: Die Änderung von Daten ist wertvoll, wenn wir mit Ausreißern oder schrägen Informationssammlungen zu tun haben. Durch Änderung der Faktoren können wir die Ausreißer beseitigen. Wenn man zum Beispiel den normalen Logarithmus eines Wertes nimmt, verringert sich die Vielfalt, die durch die unerhörten Werte hervorgerufen wird. Dies sollte auch für Informations Indizes möglich sein, die keine negativen Werte haben.
  • Verwendung verschiedener Analysetechniken: Sie können auch andere faktische Tests verwenden, die nicht so stark durch das Vorhandensein von Ausreißern beeinträchtigt werden. Zum Beispiel die Verwendung von Mittelwerten, um Information Indizes gegen den Mittelwert zu kontrastieren, oder die Verwendung vergleichbarer nichtparametrischer Tests und so weiter.
  • Wertschätzung der Ausreißer: Wenn es eine wesentliche Begründung für das Vorhandensein des Ausreißers gibt und er ein Teil unseres regelmäßigen Zyklus ist, sollten wir den Grund für den Ausreißer erforschen, da er wichtige Erkenntnisse liefern kann, die Ihnen helfen können, Ihre Interaktion Ausführung zu verbessern. Ausreißer können wertvolle Daten verbergen, die für die Weiterentwicklung Ihrer Zyklus Ausführung von unschätzbarem Wert sein können. Sie sollten sich die Zeit nehmen, um die einzigartigen Ursachen für diese Ausreißer zu verstehen. Die Behebung dieser einzigartigen Ursachen kann Ihre Interaktion Ausführung erheblich verbessern und die Kundenbindung weiter ausbauen. Beispielsweise dauert die normale Übermittlung von Bestellungen 1-2 Tage, während einige Anfragen mehr als einen Monat in Anspruch nahmen. Wenn Sie verstehen, warum es einen Monat gedauert hat, und diesen Zyklus beheben, können Sie zukünftigen Kunden helfen, da sie nicht von solch langen Wartezeiten betroffen sind.

Schlussgedanken

Über Ausreißer wird beim Testen nicht häufig gesprochen, aber abhängig von Ihrem Unternehmen und der Messung, die Sie verbessern, könnten sie Ihre Ergebnisse beeinflussen.

Ein paar hohe Werte in einer kleinen Beispielgröße können einen Test völlig aus dem Ruder laufen lassen und Sie dazu bringen, sich für eine Entscheidung zu entscheiden, die auf fehlerhaften Informationen beruht.

Tatsächlich gibt es jedoch viele Möglichkeiten, mit Ausreißern in Informationen umzugehen. Es gibt keine bequeme Lösung, die in jeder Hinsicht funktioniert, weshalb das Interesse an guten Experten immer größer wird.

Letztendlich lässt sich die grundlegende Entscheidung über die Ausreißer wie folgt zusammenfassen:

„Ein bestimmter Ausreißer kann das sein, was seine Analyse am meisten stört, kann aber im Großen und Ganzen auch das sein, wonach man sucht.“

Read more

Voxco bringt Voxco Intelligence auf den Markt, eine codefreie Datenanalyseplattform ​