Data stream processing system and method in big data environment
Fuente:
Wipo "BigData"
The invention relates to the technical field of data processing, in particular to a data stream processing system and method in a big data environment. The method comprises the following steps: collecting data in real time to obtain an original multi-source heterogeneous data stream; introducing a data adaptation mechanism to carry out standardization processing on the original multi-source heterogeneous data stream to obtain a standardized data stream; performing intelligent scheduling on the standardized data stream to obtain a preliminary scheduling strategy; based on feedback data of a data stream processing system, parallel real-time state feedback and edge real-time state feedback are obtained, a preliminary scheduling strategy is optimized, and based on the optimized scheduling strategy, normalized data streams are divided into primary normalized data streams and secondary normalized data streams. And processing the primary normalized data stream and the secondary normalized data stream. The problems that when a traditional data processing system processes data streams in a big data environment, multi-source heterogeneous data cannot be accurately adapted, and distribution and scheduling are unreasonable during processing are solved.
Al elegir "Aceptar todas las cookies", acepta el uso de cookies para ayudarnos a brindarle una mejor experiencia de usuario y analizar el uso del sitio web. Al hacer clic en "Ajuste sus preferencias" puede elegir qué cookies permitir. Solo las cookies esenciales son necesarias para el correcto funcionamiento de nuestro sitio web y no pueden ser rechazadas
Configuración de cookies
Nuestro sitio web almacena cuatro tipos de cookies. En cualquier momento puede elegir qué cookies acepta y cuáles rechaza. Puede obtener más información sobre qué son las cookies y qué tipos de cookies almacenamos en nuestra Política de cookies.
Son necesarios por razones técnicas. Sin ellos, es posible que este sitio web no funcione correctamente.
Son necesarios para una funcionalidad específica en el sitio web. Sin ellos, algunas funciones pueden estar deshabilitadas.
Nos permite analizar el uso del sitio web y mejorar la experiencia del visitante
Permítanos personalizar su experiencia y enviarle contenido y ofertas relevantes, en este sitio web y en otros sitios web