欢迎来到今天信息-分类信息网-免费发布房产,租房,招聘,兼职及58同城信息网!
loading
免费发布信息
·北京 [切换]
    • 区域:海淀 甘家口公主坟
      • Q Q:981749341QQ在线交谈
      • 电子邮箱:981749341
      • 联系人:中科信软--胡
      • 电话:010****83247 点击查看完整号码
        • 今天信息-分类信息网-免费发布房产,租房,招聘,兼职及58同城信息网提醒您:本站仅作为便民信息搬运工,请自行分辨信息真假。
    • 信息详情
    中科信软Spark大数据处理技术 2019
    培训目标:
     

    Spark系统概述
    Spark RDD及编程接口
    Spark运行模式及原理
    Spark调度管理原理
    Spark的存储管理
    Spark监控管理
    Shark架构与安装配置
    SQL程序扩展
    Spark Streaming流数据处理框架
    GraphX计算框架
    Tachyon存储系统
     
    Spark系统概述 为什么需要
    和Hadoop有什么不同
    Spark大数据处理框架
    Spark基本功能
    Spark基本组件
    Spark计算模型
    Spark 和Hadoop比较的差异和优点
    Spark RDD及编程接口 Spark程序基本构成
    Spark RDD 
    集合创建操作和存储创建操作 
    转换操作 
    控制操作(control operation) 
    行动操作(action operation)
    Spark运行模式及原理 Spark运行模式列表
    Spark基本工作流程 
    各种工作模式安装、部署、运行原理
    Local运行模式
    Standalone运行模式
    Local cluster模式
    Mesos模式
    YARN standalone / YARN cluster模式
    YARN client模式
    各种模式的实现细节比较
    Spark调度管理原理 
    Spark作业调度管理概述 
    Spark调度相关基本概念? 
    作业调度模块顶层逻辑概述 
    作业调度具体工作流程 
    任务集管理模块详解 
    调度池和调度模式分析 
    Spark应用之间的调度关系 
    调度过程中的数据本地性问题
    Spark的存储管理 存储管理模块整体架构
    通信层架构
    通信层消息传递
    注册存储管理模块
    存储层架构
    数据块 (Block) RDD 持久化
    RDD分区和数据块的关系
    内存缓存
    磁盘缓存
    持久化选项
    如何选择不同的持久化选项 Shuffle数据持久化 
    广播(Broadcast)变量持久化
    Spark监控管理 UI管理
    实时UI管理
    历史UI管理 Metrics管理
    Metrics系统架构
    Metrics系统配置
    输入源(Metrics Source)介绍
    输出方式(Metrics Sink)介绍
    Shark架构与安装配置 Shark架构浅析 
    Hive/Shark各功能组件对比
    MetaStore
    CLI/ Beeline
    JDBC/ODBC
    Hive Server/2 与 Shark Server/2
    Driver 145
    SQL Parser 146
    查询优化器(Query Optimizer)
    物理计划与执行 Shark安装配置与使用
    安装前准备工作
    在不同运行模式下安装Shark Shark SQL命令行工具(CLI) 
    使用Shark Shell命令 
    启动Shark Server 
    Shark Server2配置与启动 
    缓存数据表?
    SQL程序扩展 程序扩展并行运行模式 
    Evaluator和ObjectInspector 
    自定义函数扩展 
    自定义数据存取格式 
    Spark SQL逻辑架构
    Catalyst上下文(Context)
    Java API 
    Python API 
    Spark SQL CLI 
    Thrift服务
    Spark Streaming流数据处理框架 Spark Streaming基本概念 
    性能调优
    运行时间优化
    内存使用优化 容错处理 
    DStream作业的产生和调度 
    DStream与RDD关系 
    数据接收原理 
    自定义数据输入源 
    自定义监控接口(StreamingListener) 
    Spark Streaming案例分析
    GraphX计算框架 图并行计算
    数据并行与图并行计算
    图并行计算框架简介
    GraphX简介 GraphX模型设计
    数据模型
    图计算接口 GraphX模型实现
    图的分布式存储
    图操作执行策略
    图操作执行优化
    序列化和反序列化
    GraphX内置算法库 GraphX应用
    Pregel模型
    N维邻接关系计算
    Tachyon存储系统 设计原理 
    框架设计
    主节点
    工作节点
    客户端
    读写工作流程 Tachyon的部署
    单机部署
    分布式部署
    Tachyon的配置 Tachyon应用 联系我时,请说是在今天信息-分类信息网-免费发布房产,租房,招聘,兼职及58同城信息网看到的,谢谢!

    首发网址:http://bj.jintianxinxi.com/ruanjiankaifapeixun/2218410.html
    查看全部北京软件开发培训信息
    发布一条北京软件开发培训信息
    • 您可能感兴趣
    • 北京新发布