站务联系

在阿里云中搭建大数据实验环境

发布时间:2021-03-10   来源:网络整理    
字号:

在阿里云中搭建大数据实验环境阿里云中搭建大数据试验环境》

作者:厦门大学计算机科学系教师 林子雨 教授/助理校长

E-mail:

个人主页:

云计算是跟供水一样的商业机制。有了供水,我们可以不用自己打井,就可以迅速、便捷、廉价地荣获水资源。而有了云计算,我们就可以不用自己建机房、买设备、维护系统,就可以迅速、便捷、廉价地荣获IT资源(CPU、内存、带宽、存储跟应用系统等)。正如人类社会早已全面从打井取水过渡至供水阶段一样,人类社会最终在IT资源获取模式方面,也会全面过渡至云计算阶段。大数据与云计算相辅相成,密不可分。云计算为大数据提供了廉价的底层基础设施,大数据为云计算提供了用武之地。因此,作为大数据学习者,应该学会怎样“漫步云端”,在云中搭建起大数据系统,开展大数据实践。本文中,林子雨同学亲自选购了阿里云服务器ECS,亲自感受在云服务器ECS例子中安装大数据环境,测试各类大数据硬件跟代码,并把经验整理成博客资料,方便读者参考阅读。如果你还有兴趣,就让我们一起开启“云中之旅”吧。

(特别申明:本文纯属技术分享,笔者跟阿里云不存在任何合作关系,选择阿里云,仅仅由于它是国外排行第一、全球排行第三的云计算服务商。学生身分还可以获得免费试用期)

第1步:购买阿里云的云服务器ECS(访问)

第2步:从网页的控制台登陆云服务器ECS中的Ubuntu系统(访问)

第3步:为Ubuntu系统添加新的普通用户(访问)

第4步:使用Putty硬件实现SSH登入至Ubuntu系统(访问)

第5步:使用VNC远程连结ECS例子中的Ubuntu系统(访问)

第6步:使用FTP硬件向ECS例子中的Ubuntu系统上传跟下载文件(访问)

第7步:在ECS例子的Ubuntu系统中安装Java(访问)

第8步:在ECS例子的Ubuntu系统中安装Hadoop(访问)

第9步:在ECS例子的Ubuntu系统中安装Scala(访问)

第10步:在ECS例子的Ubuntu系统中安装Spark(访问)

第11步:在ECS例子的Ubuntu系统中安装编译打包工具sbt(访问)

第12步:在ECS例子的Ubuntu系统中安装编译打包工具Maven(访问)

第13步:在ECS例子的Ubuntu系统中安装IntelliJ IDEA跟Scala插件(访问)

第14步:在ECS例子的Ubuntu系统中安装Scala IDE for Eclipse(访问)

第15步:在ECS例子的Ubuntu系统中安装HBase(访问)

第16步:在ECS例子的Ubuntu系统中安装MySQL5.7(访问)

第17步:为ECS中的Ubuntu14.04安装英文语言支持(访问)

谈谈我在云端搭建大数据环境的体验

在阿里云搭建大数据试验环境体验分享。从2018年3月下旬开始的十几天时间,大部分时间都在加班加点在阿里云中安装大数据环境,花了1650元订购了3年的服务器使用权限,想充分利用上去。

(1)为什么我要在云中建立大数据环境?

主要成因还是在于,我发觉,在自己的单机上建立大数据环境,随着大数据硬件的降低跟数据的提高,我的电脑笔记本根本跑不动。怎么不用台式机?台式机不方便带至寝室上面去教学。我这三年给我的电脑笔记本升级了两次,总计花了1000多元,用了更快的固态盘250GB,用了16GB显存,采用在Windows系统中安装Linux虚拟机,然后在Linux虚拟机上安装大数据硬件。但是阿里云网络,速度越来越慢,现在我要开始跑一些小型的大数据案例,根本跑不动。如果不用虚拟机,直接用双系统,电脑关机启动时直接步入Linux系统,速度会快一些,但是,进入Linux之后,很难做教学,因为教学环节一直还要使用Windows系统。所以,使用电脑笔记本做大数据教学,越来越未能满足跑各类大数据案例的需求。所以,我开始考虑向云中转移。我选择了国外排行第一,全球排行第三的云计算服务商——阿里云。

图说天下

×
二维码生成