1. 方法
a) 需求向导:只学习过往项目架构设计使用到的内容
b) 零基搜索:对a)结构成零散的点,再百度搜索各点的功能
c) 充分理解不同组件的关系
d) 与过往相同功能的工具进行类比
e) 通过视频网站了解工具界面及操作方法
2. 案例介绍
以某AWS云项目为例
a) 获取客户架构图,并找出不理解或新出现的内容
b) 通过谷歌了解AWS Data Pipeline/ S3/ Glue/ EMR/ EC2/ VPC等组件作用
c) 基于业务需求及架构逻辑流程理解功能模块之间的关系
d) 将AWS S3/ Glue/ EMR/ EC2与Oracle、Informatica/CDH/ 服务器进行类比
e) 在youtube上看相关组件操作,深化理
注:图片仅做参考示意,客户实际AWS架构图已替换,仅保留部分相关组件文字描述。
3. 基于上述案例介绍AWS各模块功能介绍
3.1 基础架构
l EC2:当做云服务器即可
https://baike.baidu.com/item/亚马逊EC2/9162664?fr=aladdin
l AWS S3:当做存储即可
https://baike.baidu.com/item/amazon%20s3/10809744?fr=aladdin
l VPC:AWS公有云上的私有云服务
https://amazonaws-china.com/cn/vpc/faqs/
3.2 功能模块
l EMR:AWS的hadoop
https://amazonaws-china.com/cn/emr/faqs/
l AWS Direct Connect
docs.aws.amazon.com/zh_cn/directconnect/latest/UserGuide/Welcome.html
AWS Direct Connect 通过标准的 1 Gb 或 10 Gb 以太网光纤电缆将您的内部网络链接到 AWSDirect Connect 位置。电缆的一端接到您的路由器,另一端接到 AWS Direct Connect 路由器。有了此连接以后,您就可以创建直接连接到公共 AWS 服务 (如Amazon S3) 或 Amazon VPC 的虚拟接口,从而绕过您的网络路径中的 Internet 服务提供商。
3.3 ETL
l AWS Glue:无Server的ETL工具
https://amazonaws-china.com/cn/glue/faqs/#
l AWS Pipeline:数据操作配置操作工具
https://amazonaws-china.com/cn/datapipeline/
l AWS Kinesis:视频数据处理ETL工具
https://amazonaws-china.com/cn/kinesis/