Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

编程入门 行业动态 更新时间:2024-10-19 06:15:15

Java job interview:项目架构研发58赶集通用的实时<a href=https://www.elefans.com/category/jswz/34/1763861.html style=统计分析平台设计与实践"/>

Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

先概括一下飞流有四个特点。
第一,释放用户,减少用户开发成本,所以说这个系统是不需要用户编程,只需要登录个网页,点点配置一下,然后等下,数据就出来了。这是很重要的一个点,也是我们想做这个系统的动机。
第二,提供了丰富的分析和统计功能,求和、取平均、最大最小,计数唯一计数,PV/UV的统计非常简单。
第三,提供了强大多维分析能力,针对上面需求可以下到具体的城市或者具体业务来看它的统计指标。
第四,飞流这个平台是基于Kafka、Storm、Hbase。具备很好的可靠性、可扩展性、以及性能
第五,数据接入极其简单,对于日志类数据仅需配置即可接入。
应用来说目前只有两个,一个是监控,很明显,这个系统面向大量的监控,主站三端,全在上面,包括服务三端质量,请求时延是怎么样的,通过飞流承载。另外对服务调用量的监控等等。
大部分的数据已经实时化了,所以业务的统计需求的数据很可能已经在Kafka系统里,简单在飞流上配置一下,他们的需求就可以满足了。最重要它还具备多维分析能力,它是一个多维分析的平台,刚才举的例子,地区、业务线或者来源,当然业务线我那块还没有配置,可以任选维度看一下这个指标情况,所以说可以做精细化的运维,发现一些潜在问题。
整体来说,这是我们飞流设计,非常简单,也比较有效果。
未来会支持以下的效果,刚才看界面还是比较单一,前期没有在界面上做改进,后续会支持Dashboard,展示多样化。饼图、热力图、柱状图,多种周期形式的曲线。
扩展度量类型。另外让目前飞流的用户配置任务还是稍微复杂一点,有些用户希望写一些SQL,我们把SQL用到我们平台上。
最后,我们是站在业务角度来看平台发展,飞流就是一个很典型的平台,还包括我们内部系统云窗平台,也在做这个工作。此外,我们这边还有更多平台,Spark、Yarn、Kylin、Kafka、flume等等。

更多推荐

Java job interview:项目架构研发58赶集通用的实时统计分析平台设计与实践

本文发布于:2024-02-13 02:22:03,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1690329.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:统计分析   架构   实时   项目   平台

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!