关于《数据密集型应用系统设计》

数据密集型应用系统设计》"/>

关于《数据密集型应用系统设计》

一、twitter的两种推送方式
1、不做提前运算，每次刷新时，关联表查询数据。
优点：不会有额外的时间、空间占用
缺点：读负载压力随用户量增加会与日俱增
2、提前运算。对每个用户维护一个时间线缓存，当推送一个新tweet时，查询其关注者，并把新tweet插入到每个关注者的时间线缓存中。
优点：加速读性能
缺点：在发布tweet时增加了大量额外的工作，如：平均75个关注者和每秒4.6k的tweet，则需要每秒4.6*75=345k的速率写入缓存。同时，某些用户有上千万的关注者，意味着在峰值，会出现一个tweet导致3000万的写入。
二、解决办法
每个用户关注者的分布情况是关键负载参数，因为它决定了扇出数（使用twiitter频率情况进行加权，作为可扩展的关键负载参数）。
twitter采用的办法是：
大多数用户的tweet在发布时继续以一对多写入时间线（采用方案2），但是小数具有超多关注者的用户（采用方案1），在读取时才和用户的时间线进行合并。