PARTAGER L’ARTICLE SUR
Les données de streaming sont des données créées en temps réel par plusieurs sources. Sans avoir accès à toutes les données, celles-ci doivent être traitées séquentiellement à l’aide de techniques de traitement de flux. De plus, il convient de noter qu’une dérive d’idées peut se produire dans les données, ce qui implique que les qualités du flux peuvent varier avec le temps. Cela est couramment utilisé dans le contexte du big data, qui se crée à grande vitesse par le biais de nombreuses sources diverses.
Le streaming de données est la pratique consistant à diffuser un flux continu de données (également connu sous le nom de flux) qui est souvent introduit dans un logiciel de traitement de flux pour extraire des informations importantes. Un flux de données est une séquence de morceaux de données qui sont disposés dans le temps. Les données indiquent un « événement » ou un changement de situation qui s’est produit dans l’entreprise et qui est crucial pour que l’entreprise en soit informée et l’évalue, souvent en temps réel. Les données des capteurs, les journaux d’activité du navigateur en ligne et les journaux des transactions financières sont quelques exemples de flux de données. Un flux de données peut être considéré comme une tapis roulant sans fin qui transporte des éléments de données et les alimente constamment dans un processeur de données.
L’importance du streaming de données et du traitement des flux a augmenté parallèlement à l’expansion de l’Internet des objets (IdO) et aux attentes des utilisateurs. Les sources de diffusion de données comprennent les moniteurs de santé personnels et les systèmes de sécurité domestique. Dans une maison, plusieurs capteurs de mouvement sont utilisés dans un système de sécurité domestique pour surveiller différentes parties du domicile. Ces capteurs créent un flux constant de données qui sont transférées vers une infrastructure de traitement qui surveille tout comportement inhabituel en temps réel ou stocke les données à analyser ultérieurement pour détecter les tendances difficiles à remarquer. Les moniteurs de santé, tels que les moniteurs de rythme cardiaque, de pression artérielle et d’oxygène, sont une autre forme de source de flux de données. Ces gadgets produisent constamment des données. L’examen rapide de ces données est essentiel, car la sécurité de la personne peut en dépendre.
EXEMPLES
Mis à part ces exemples, il y a probablement beaucoup plus d’utilisations de streaming de données. Cependant, en raison de l’avènement des services de diffusion en continu, le streaming de données a eu le plus grand impact sur les industries de l’audio, de la vidéo et des télécommunications. Les services de streaming ont significativement modifié la façon dont les consommateurs utilisent les médias de nos jours. Parce que la technologie de streaming de données a eu la plus grande influence sur les services de streaming, ce sera l’objectif principal de ce site Web à l’avenir.
Mener des recherches exploratoires semble délicat, mais un guide efficace peut servir.
Le streaming de données provenant de capteurs, de navigateurs Web et d’autres systèmes de surveillance diffère des données historiques traditionnelles de plusieurs façons. Voici quelques-uns des aspects les plus importants des données de flux :
Un horodatage est attaché à chaque élément d’un flux de données. Les flux de données sont sensibles au temps et leur pertinence s’estompe après une période donnée. Par exemple, les données provenant d’un système de sécurité domestique indiquant un mouvement suspect devraient être examinées et traitées dès que possible afin de demeurer pertinentes.
Un streaming de données n’a ni début ni fin. Les flux de données sont continus et se produisent en temps réel, bien qu’ils ne soient pas toujours traités sur le moment en raison des besoins du système.
Les données de flux proviennent souvent de milliers de sources distinctes, dont certaines peuvent être géographiquement éloignées. Les données de flux peuvent être une combinaison de plusieurs formats en raison de la variance des sources.
Un flux de données peut contenir des éléments de données manquants ou corrompus en raison de la multiplicité de ses sources et de plusieurs technologies de transport de données. De plus, les éléments de données d’un flux peuvent être non pertinents à une certaine séquence.
Étant donné que le streaming de données se produit en temps réel, il est difficile de répéter la transmission d’un flux. Bien qu’il existe des mécanismes de retransmission, les nouvelles données peuvent différer des précédentes. Par conséquent, les flux de données sont extrêmement variables. De nombreux systèmes contemporains, cependant, conservent un enregistrement de leurs flux de données. Donc, même s’il est impossible d’y accéder sur le moment même, il est toujours possible de l’analyser plus tard.
Les données sous forme de flux sont extrêmement importantes dans l’environnement actuel. Chaque seconde, plusieurs appareils IdO et des internautes créent des quantités massives de données continues en temps réel. Pour les entreprises, le traitement de ces données en temps réel est à la fois une difficulté et une opportunité.
Les organisations collectent traditionnellement des données au fil du temps, elles les stockent dans des entrepôts de données et les traitent par lots. Cela permet d’économiser une puissance de calcul précieuse. La structure des données et les technologies de traitement ont considérablement évolué ces dernières années. L’Internet des objets a apporté une large gamme de capteurs qui créent des données de flux. Les cartes de crédit et les transactions financières en ligne fournissent des données en temps réel qui doivent être évaluées et confirmées. Les transactions en ligne et les journaux d’activité sont générés par les navigateurs Web. Pour prendre en charge ces types de données, un streaming de données et le traitement des flux sont nécessaires.
La quantité de données créées chaque seconde est tout simplement trop importante pour être stockée dans n’importe quel entrepôt de données. Par conséquent, les données de flux sont fréquemment examinées sur le moment pour décider s’il s’agit d’un élément critique de données en temps réel ou non. En conséquence, les systèmes peuvent diffuser des données et les évaluer rapidement pour déterminer ce qui sera conservé et ce qui ne le sera pas, aidant ainsi les entreprises à réduire les pertes de données, le stockage de données et les dépenses d’infrastructure.
Pour gérer le streaming ou les données en direct, une technique différente du traitement typique par lots est nécessaire. Un processeur de flux est un programme informatique qui collecte, analyse et visualise un flux continu de données. Et, bien sûr, le traitement doit commencer par le streaming de données. C’est la première étape du traitement des flux : prendre des flux de données et en extraire des informations en temps réel. En raison de la nature unique des données de streaming, un processeur de flux doit répondre aux exigences suivantes :
Un processeur de flux doit être capable de travailler rapidement sur des flux de données continus. La vitesse de traitement est un problème majeur pour deux raisons. Premièrement, les données sont reçues dans un flux continu, et si le processeur est lent et manque de données, il ne peut pas être récupéré. Deuxièmement, les données en streaming deviennent obsolètes en peu de temps. Tout délai de traitement réduit la valeur des données.
Le volume de données de streaming peut ne pas toujours rester constant. Les capteurs, par exemple, peuvent générer de faibles quantités de données sur une base régulière, mais il peut y avoir une augmentation occasionnelle des données. Étant donné que le volume de données est inattendu, le processeur doit être en mesure de traiter d’énormes quantités de données si nécessaire.
Les longs temps d’arrêt ne sont pas une option pour un processeur de flux. Les données dans le flux sont continues et arrivent en temps réel. Un processeur doit être tolérant aux pannes, ce qui signifie qu’il doit pouvoir fonctionner même si certains de ses composants tombent en panne. Un processeur de flux doit également être capable de collecter, d’évaluer et d’offrir des informations à une couche supérieure en temps réel.
L’objectif du traitement des flux dans la gestion des flux de données est de générer un résumé des données entrantes ou de développer des modèles. Un processeur de flux, par exemple, peut être en mesure de générer une liste de traits du visage à partir d’un flux continu de données faciales. Les enregistrements d’activité Internet sont un autre exemple de ce cas d’utilisation. Un processeur de flux tente de calculer les préférences et les intérêts de l’utilisateur en fonction d’un flux constant de données de clics de la part des utilisateurs.
Le cas d’utilisation qui s’applique à la majorité des flux de données IdO est le traitement d’événements complexes. Le flux de données dans ce cas d’utilisation est constitué de flux d’événements. La tâche du processeur de flux est d’extraire les événements critiques, d’obtenir des informations précieuses et d’envoyer rapidement les informations à une couche supérieure afin que des actions immédiates en temps réel puissent être effectuées.
D’autres processeurs de flux ne peuvent gérer qu’un seul des scénarios d’utilisation susmentionnés, mais certains processeurs sophistiqués peuvent gérer les deux. Quel que soit le cas d’utilisation, la conception de bout en bout du processeur de flux doit inclure les fonctionnalités suivantes :
Le système de génération de données fait référence aux nombreuses sources de données brutes, telles que les capteurs, les moniteurs de transaction et les navigateurs Web. Ils génèrent constamment des données que le système de traitement de flux doit ingérer.
Chacune des sources de création de données répertoriées ci-dessus est connectée à un client qui obtient des données de la source. Ceux-ci sont appelés clients sources. Un agrégateur collecte les données de plusieurs clients sources et les envoie en mouvement à un tampon de données centralisé.
Les mémoires tampons de messages conservent brièvement les données de flux d’un agent d’agrégation avant de les transmettre à un processeur logique. Les tampons de messages sont classés en deux types : basés sur des rubriques et basés sur des files d’attente. Dans les tampons basés sur des rubriques, les données entrantes sont conservées sous la forme de rubriques, qui sont des enregistrements. Un ou plusieurs fournisseurs de données peuvent contribuer à un certain sujet. La mémoire tampon de messages basée sur la file d’attente est un système de mise en mémoire tampon point à point qui lit à partir d’un seul producteur et fournit à un seul consommateur de données.
Un système de courtier de messages est composé de technologies de collecte de données, d’agrégation et de mise en mémoire tampon des messages. La fonctionnalité du courtier de messages consiste à collecter des données de flux à partir de nombreuses sources, à les formater et à les envoyer à un système de traitement logique continu.
Il s’agit du composant principal de l’architecture de traitement des flux. Pour obtenir des informations significatives, le sous-système de traitement logique continu effectue plusieurs requêtes prédéfinies sur les flux de données entrants. Des requêtes aussi basiques que celles stockées dans un fichier XML peuvent être utilisées. Ces recherches sont exécutées indéfiniment sur les données entrantes. Ce sous-système peut établir un langage de commande déclaratif pour permettre aux utilisateurs de construire ces requêtes plus simplement. Pour l’évolutivité et la tolérance aux pannes, un système de traitement logique continu est fréquemment utilisé sur des ordinateurs distribués. Ce système de traitement logique s’est développé au fil du temps pour prendre en charge les changements de requête dynamiques et les API de programmation pour simplifier les requêtes.
Dans le traitement des flux, il s’agit de deux systèmes de soutien. Un système de stockage enregistre un résumé du flux de données d’entrée pour référence ultérieure. Il enregistre également les résultats des requêtes effectuées sur le flux de données continu. Un système de présentation, quant à lui, est utilisé pour montrer les données aux clients. Le système de présentation pourrait comporter un degré plus élevé d’avertissements au système analytique ou à l’utilisateur final.
Découvrez le logiciel de sondage Voxco en action avec une démo gratuite.
Dans le traitement conventionnel des données, celles-ci sont souvent conservées en quantités massives dans des entrepôts de données. Le coût de ces systèmes et matériels de stockage s’avère parfois une difficulté financière pour les entreprises. Étant donné que les données ne sont pas conservées en grand nombre dans le cas d’un traitement des flux, les systèmes de traitement ont des coûts de matériel inférieurs.
Les organisations peuvent surveiller en permanence leur écosystème métier grâce à des flux de données en temps réel. Ceux-ci maintiennent les entreprises informées des failles de sécurité potentielles, des problèmes de production, du mécontentement des consommateurs, des effondrements financiers ou des perturbations imminentes de l’image sociale. Les organisations peuvent passer outre de telles erreurs évitables en utilisant le streaming et le traitement continus des données.
Les organisations peuvent utiliser le traitement des données en temps réel pour résoudre les problèmes potentiels avant qu’ils ne surviennent. Cela leur fait gagner du temps et leur offre un avantage sur la concurrence. La satisfaction des consommateurs est également accrue grâce au streaming et au traitement des données, car les plaintes des clients peuvent être traitées en temps réel. Il n’y a pas de retard causé par les données qui se trouvent dans les entrepôts et en attente d’être traitées grâce à un traitement continu et en temps réel des données.
Les données peuvent apporter d’énormes avantages aux organisations en général. Les techniques de traitement des flux en temps réel offrent aux entreprises un avantage concurrentiel en évaluant les données sensibles au facteur temps et en leur permettant de réagir et de le faire rapidement aux problèmes éventuels. L’analyse des flux, par exemple, aide les sociétés financières à surveiller la valeur des actions en temps réel et à faire des choix urgents. Elle les tient au courant des tendances actuelles du marché. Les organisations peuvent augmenter leur temps de réaction aux événements critiques en utilisant des outils de visualisation robustes en conjonction avec une infrastructure de traitement des flux en temps réel.
Les systèmes de streaming et de traitement des données fonctionnent avec des données extrêmement volatiles, en temps réel et continues. Les données de flux sont souvent diverses et incomplètes. La nature des données de flux présente plusieurs problèmes pour la diffusion en continu et le traitement des données.
Le streaming de données concerne des quantités massives de données continues en temps réel. La perte de données et les paquets de données corrompus sont deux problèmes typiques du streaming de données. Les données de flux sont souvent hétérogènes, provenant d’une variété de zones géographiques et d’applications. En raison de la nature de ces données, elles constituent un obstacle à la gestion des programmes de diffusion et de traitement des données.
L’utilité des données de flux diminue avec le temps. Les systèmes de diffusion et de traitement des données doivent être suffisamment rapides pour examiner les données tant qu’elles sont encore pertinentes. La nature sensible au facteur temps des données de flux nécessite un système haute performance et tolérant aux pannes.
Chaque jour, le volume de données de flux augmente. Pour maintenir un certain degré de qualité de service, les systèmes de traitement des flux doivent constamment s’adapter à la quantité. Les sources de données de flux n’envoient pas toujours de grandes quantités de données. Dans de tels cas, les systèmes de traitement ne doivent utiliser que le strict minimum de ressources. Lorsque la demande augmente, le système devrait distribuer plus de ressources de manière dynamique. Un autre problème posé par les systèmes de traitement des flux est l’exigence de flexibilité.
Le traitement des flux se fait en temps réel et est continu. Les données du flux ne peuvent pas être répliquées ou complètement retransmises. Par conséquent, les temps d’arrêt ne sont pas une option pour les systèmes de traitement de flux. Contrairement aux systèmes de traitement par lots typiques, il y a peu de délai entre la collecte et le traitement des données. Les systèmes doivent être disponibles en tout temps et fonctionner correctement. Si un élément du système tombe en panne, le reste du système de traitement ne devrait pas en être affecté.
English
French