孙元浩：大数据技术的最新进展和发展趋势

大数据技术的最新进展和发展趋势孙元浩 星环科技Founder & CTO transwarp.ioHadoop的发展历程回顾大数据技术的软件栈进展一：分布式计算已逐渐成为主流计算方式进展二：交互式分析技术日益成熟交互式分析性能对比：TPC-H 1TB Inceptor4.6 vs GP4.3.10进展三：数据分析算法逐渐丰富，工具普及化数据预览：•R和Midas中可以连接TDH中数据表做数据预览•可以对列做tag/feature的管理预处理：•通过内置的分布式统计算法完成相关的预处理与数据分析•支持标准化，归一化，正则化，缺失值填充，数据分箱等•支持通过InceptorSQL进行数据ETL处理特征工程：•结合业务领域专家知识，以及相关算法降维，选择特征指标与维度•利用深度学习神经网络算法，通过升维降低特征工程维度选取难度模型训练：•用户通过GUI选择算法开发训练模型•模型编译成为DAG，由Hubble组件来调度任务•支持单机R算法和分布式算法训练模型模型上生产：•导出模型为PMML•PMML模型可以转换成生产系统的代码，部署到实际业务中进展四：融合事件驱动和批处理引擎后Hadoop/S