干货：如何计算用户行为大数据

来源：互联网

2014/3/13 9:42:34

用户行为类数据是最常见的大数据形式，比如电信的通话记录、网站的访问日志、应用商店的app下载记录、银行的账户信息、机顶盒的观看记录、股票的交易记录、保险业的保单信息，连锁超市会员的购物信息、交通违法信息、医疗就诊记录。

如何利用事先排序好的数据，以此简化代码书写难度并提高计算性能?

集算器是支持多节点并行计算的程序设计语言，并提供丰富的有序计算。如果数据事先排好序，集算器支持通过游标来按组读取数据，每次读取一组数据进内存，避免反复的外存访问，整个数据只要遍历一次即可，从而使性能大大提高。针对组内计算复杂，集算器具有完备的批量化数据计算类库，可以轻松实现各类复杂的有序计算。。

集算器支持灵活自由的多节点并行计算，可以进一步优化性能。方法之一将用户按某种方式分段，以此实现分布存储后的高效并行处理。比如将会员零售数据按照会员编号的前两位分成100段存储于HDFS，每段存储十万会员的一亿条数据。或者将网站日志按照用户ID的首字母和年份分段，每段存储几百万用户的数据。或者将通话记录按照区号和用户数量合并为30段，每段存储一个州或几个州的用户。经过分段处理后，每段数据都是排好序的，可被节点机的一个线程独立处理，这样的并行计算性能更高。

针对上面的难点，下面用”每个用户在每种产品上的累积在线时间”为例来说明集算器的一般解决办法。

大分组的困难：事先排序数据，以供多种计算目标使用。在节点机运算时可以直接按用户分组取数，有效利用已经有序的数据以提高性能。