李小萌资源网 编程相关 2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程


2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程

232
咕噜咕噜
咕噜咕噜 发帖专员   
资源介绍

2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程

2015小象学院—Hadoop进阶视频教程 Hadoop高级进阶视频教程 Hadoop精华视频教程

《Hadoop进阶》:本课程面向Hadoop高阶学习者,具有一定Hadoop系统使用经验,结合大规模使用Hadoop的实践经验,了解和掌握HDFS构建、Hadoop工具使用、调试优化,问题分析,通过分析示例掌握大量实际使用的经验,很多实战内容的示例是很少在网络上找到文档支持。适用Hadoop版本:兼顾所有Hadoop版本,包括Apache、Hortonworks和CDH发行版第一部分. MapReduceMapreduce工作流程及基本架构回顾运维相关参数调优benchmarkreuse jvm错误感知及speculative执行task日志分析可容忍错误百分比设置及跳过坏记录选择fairescheduler等其他调度器优化性能开发相关数据类型选择实现自定义writable数据类型、自定义key一个mapper中输出不同类型valueInputFormat/OutputFormat,原理及定制Mapper/Reducer/Combiner,Combiner的使用及其对mapreduce框架优化的作用Partitioner定制排序策略GroupingComparator/SortComparator任务调度原理及修改方法(案例,map/reduce共享slot,按标识精准map/reduce调度)StreamingDistributedCachemapreduce任务间依赖counterJobChild参数设置性能优化第二部分. hdfsHDFS APIfuse(C API)压缩HDFS benchmarkDatanode添加及删除多盘支持,磁盘错误感知hdfs raidHDFS block size设置相关问题文件备份数设置HDFS中合并文件第三部分. Hadoop工具dfsadmin/mradmin/balancer/distcp/fsck/fs/job监控及报警hadoop配置管理第四部分. Hadoop调试Log本地模式调试map/reduce任务远程调试第五部分. 问题分析Java GC介绍及java进程常用的分析工具jstat、jhat、jmaptop/iostat/netstat/lsof等Jstack/kill -3Stracenload/tcpdump第六部分.分析示例MapReduce简单分析用MapReduce实现Group-by用MapReduce实现倒排索引MapReduce实现直方图MapReduce实现Join主讲人: 冼茂源Apache Hama project PMC。具有在朗讯、Sun Microsystems、搜狗等通信、传统IT以及互联网企业的工作经历。针对互联网具体业务的特殊需求,对hadoop调度机制、安全管理、存储优化、监控及管理系统等进行深度修改。同时,在将HBase与具体查询业务相结合,在实际项目中进行系统问题排查及调优方面有丰富经验


百度网盘可以用手机平板电脑在线播放,也可以下载之后播放

本帖资源评论