小米金融技术总监 方流：大数据和小米金融

大数据和小米金融 方流，小米金融技术总监概述•小米公司简介•小米金融•DW建设•用户金融画像•大数据反欺诈小米公司-产品小米公司-成绩小米金融:信贷,保险,理财,证券DW建设•架构•工具-scribe-hadoop/hdfs-hbase-hive-impala-sqoop-sparkDW建设-业务架构DW建设-log利器之scribeDW建设-ETL利器之Hadoop/HdfsDW建设-DW利器之HBase•Column family数量不能太多•线上服务（99%读请求10ms左右，写请求5ms左右）•容易用map/reduce进行批处理DW建设-数据分析利器之Hive/Sentry•类SQL查询语言/易上手•无缝对接hadoop/hdfs/hbase•使用Sentry进行权限控制•缺点：速度较慢DW建设-OLAP利器之Impala•对应于google的dremel•近实时(分布式查询引擎/中间结果在内存/LLVM/C++等)•类SQL查询•非常适合OLAPDW建设-数据迁移利器之sqoop•业务数据往往都在mysql•从mysql到hbaseDW建设-机器学习利器之spark•比ha