常用的大数据分析框架有哪些?

村口二丫2021-11-26 12:01

  一种成功的大数据分析程序对收集和分析大型数据非常重要,对于大数据分析程序,我们需要一个有效的过程管理,而今天我们将一起学习并学习它,

  01、传统大数据架构

  称其为传统大数据架构,是因为它的定位是解决传统BI问题。

  优点:

  简单易行,对于BI系统来说,基本思路并没有改变,只是改变了技术选择,用大数据体系结构取代BI的构件。

  缺点:

  对大数据而言,没有完全基于BI的Cube体系结构,对业务支持的灵活性不足,因此对于庞大的报告,或复杂的钻取场景,要求过多的手工定制,同时该架构仍以批处理为主,缺乏实时支持。

  适用场景:

  资料分析的需求依然是BI场景,但由于数据量大、性能不能满足日常使用的需要。

  02、流式架构

  基于传统大数据架构,直接将批处理删除,整个数据都是流处理,这样ETL就不需要ETL,而是用数据通道来代替。

  优点:

  不存在膨胀ETL过程,数据的有效性非常高。

  缺点:

  流型架构不存在批量处理,因此无法很好地支持数据回放和历史统计。对脱机分析仅支持在窗内进行分析。

  适用场景:

  报警、监控、有数据有效期要求的情况。

  03、Lambda架构

  大部分体系结构基本上是Lambda体系结构或基于它的变化。Lambda的数据通道分为两个分支:实时流和离线流。

  优点:

  不仅是实时的,而且是离线的,对于数据分析场景涵盖得很好。

  缺点:

  尽管面对不同的场景,离线层和实时流都是不同的,但内部处理的逻辑是相同的,因此存在大量的重复性模块。

  适用场景:

  也有离线、实时两种需求。

  04、Kappa结构。

  对Lambda进行了优化,对实时部分和流部分进行了合并,用消息队列取代了数据通道。

  优点:

  在Lambda体系结构中解决了冗余部分,设计了数据可重放的思想,整个结构非常简洁。

  缺点:

  尽管Kappa体系结构看上去简洁,但是实现起来相当困难,特别是数据重放部分。

  适用场景:

  与Lambda相似,架构改写为Lambda优化。

  05、Unifield架构

  上述各种体系结构都是围绕大容量数据处理而设计的,Unifield体系结构将机器学习与数据处理技术结合起来,在流处理层增加了机器学习层。

  优点:

  本文提出一套将机器学习和数据分析相结合的体系结构,以解决机器学习与数据平台结合的问题。

  缺点:

  由于实现更加复杂,对机器学习体系结构而言,从软件包到硬件部署都与数据分析平台有很大的不同,所以它在实现上的难度系数也更高。

  适用场景:

  因为有很多数据需要分析,而且机器学习也有很大的需求或者计划。

  点击图片免费领取课程!

常用的大数据分析框架有哪些?

  以上就是小编为大家整理发布的“常用的大数据分析框架有哪些?”一文,更多相关内容尽在开课吧广场数据分析教程频道。

免责声明:本站所提供的内容均来源于网友提供或网络搜集,由本站编辑整理,仅供个人研究、交流学习使用。如涉及版权问题,请联系本站管理员予以更改或删除。
有用
分享