下面是小编为大家整理的38、Spark,ML(机器学习)介绍(监督学习、半监督学习、无监督学习),供大家参考。
Spark ML (机器学习)介绍(监督学习、 半监督 学习、无监督学习)
一、 机器学习定义 机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。
机器学习还有模式识别、计算机视觉、语音识别、统计学习以及自然语言处理等,而在目前机器学习中,深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
机器学习代表人物:
1、 Andrew Ng (吴恩达)不久前刚从百度的首席数字科学家的职位离开,他还是斯坦福大学计算机科学系副教授,在线教育平台 Coursera 的联合创始人之一。
2、 Yoshua Bengio 是蒙特利尔大学计算机科学教授,他因在人工神经网络和深度学习方面的研究而著名。Bengio 曾说,他的研究背后最大的野心是理解“获取智慧的学习的原则”。除了 AI 和 ML 的其他原则之外,他发表的大部分工作设计用于编码或格式化非结构化数据的自动编码器,通过无监督机器学习令计算机可以理解。
3、 n Yann LeCun 作为自 2013 年以来 Facebook 的 AI 研究主管,LeCun 在计算机视觉领域的开创性工作获得广泛认可,计算机视觉是教机器以与人类识别物体相同的方式去“看见”物体,并通过对它们进行分类的方式学习它们。LeCun 也被认为是卷积神经网络的发明人之一,这类模型的目标是创建与生物有机体(例如眼睛或大脑)相同的方式去获取及解释信息的算法。LeCun 是纽约大学数据科学中心的创始人。
4、 Demis Hassabis 是 DeepMind 联合创始人,DeepMind 是谷歌在 2014 年收购的一家英国 AI 创业公司。Hassabis 的工作重点是结合机器学习和神经科学方法促进人工神经网络的发展。迄今为止,DeepMind 最广为人知的成功是 AlphaGo,这是去年成为第一个打败专业围棋棋士的计算机程序。在这个突破之前,即使是最好的 AI 也只是跟人类业余围棋玩家交手,而且在实践中经常被人类打败。
5、 Hinton 在是 Google Engineering Fellow,多伦多大学计算机科学系教授。早在 1992 年,他就发表了关于使用人工神经网络让机器模拟人类处理信息的论文。Hinton 在取得 AI 博士学位之前,最初学过心理学,并将他对人类认知过程的理解应用于计算机。
机器学习例子:
二、 监督学习 三、 无监督学习 四、 半监督学习 五、 Spark 机器学习 ML 库