南京大学 黄宜华：大章鱼(Octopus)基于R语言的跨平台统一大数据机器学习与数据分析

大数据机器学习是一个同时涉及机器学习和大数据处理两方面的交叉性研究课题。一方面，它仍然需要关注机器学习本身的模型和方法，与此同时，还要关注如何结合分布式和并行化大数据处理技术，以便能实现大规模数据分析计算。为了有效完成大数据机器学习处理，需要构建兼具机器学习和大规模分布并行计算处理能力的一体化系统，即大数据机器学习系统。 然而，目前在大数据机器学习与数据分析实际应用中一个最大的问题是：熟悉R、Python、Matlab等数据分析建模和编程语言的机器学习研究者和数据分析师难以掌握和使用各种大数据编程技术和平台，因此，在两者间存在一个很大的鸿沟。因此，有必要研究提供底层具有大数据处理能力、而上层便于普通机器学习研究者和数据分析师使用的大数据分析编程环境和平台。 本报告将系统性介绍大数据机器学习系统的发展背景与现状、技术特征和主要技术问题、系统分类和典型大数据学习系统。在此基础上介绍我们所研究实现的全球第一个跨平台统一大数据机器学习与数据分析编程框架与系统“大章鱼(Octopus)”。该系统底层可集成Hadoop、Spark、MPI、Flink等主流大数据处理平台，上层提供基于大规模矩阵的机