Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
Hadoop是项目的总称，起源于作者儿子的一只玩具大象的名字。主要是由HDFS、MapReduce和Hbase组成。
HDFS是Google File System（GFS）的开源实现。
MapReduce是Google MapReduce的开源实现。
HBase是Google BigTable的开源实现
开源的Hyperic HQ软件可以对Hadoop DataNode server，Name Node server，Job Tracker等 实现监控。
Hadoop DataNode 服务器
日志追踪支持: Yes
配置追踪支持: Yes
定制属性支持:
| Name | Description |
|---|
| VmVersion | Vm Version |
| VmVendor | Vm Vendor |
| VmName | Vm Name |
|
支持的控制操作: None
支持的度量参数:
| Name | Alias | Units | Category | Default On | Default Interval |
|---|
| Process Virtual Memory Size | ProcessVirtualMemorySize | B | UTILIZATION | false | 5 min |
| Process Resident Memory Size | ProcessResidentMemorySize | B | UTILIZATION | true | 5 min |
| Process Page Faults | ProcessPageFaults | none | UTILIZATION | false | 10 min |
| Process Page Faults per Minute | ProcessPageFaults1m | none | UTILIZATION | false | 10 min |
| Process Cpu System Time | ProcessCpuSystemTime | ms | UTILIZATION | false | 10 min |
| Process Cpu System Time per Minute | ProcessCpuSystemTime1m | ms | UTILIZATION | false | 10 min |
| Process Cpu User Time | ProcessCpuUserTime | ms | UTILIZATION | false | 10 min |
| Process Cpu User Time per Minute | ProcessCpuUserTime1m | ms | UTILIZATION | false | 10 min |
| Process Cpu Total Time | ProcessCpuTotalTime | ms | UTILIZATION | false | 10 min |
| Process Cpu Total Time per Minute | ProcessCpuTotalTime1m | ms | UTILIZATION | false | 10 min |
| Process Cpu Usage | ProcessCpuUsage | percentage | UTILIZATION | true | 5 min |
| Process Start Time | ProcessStartTime | epoch-millis | AVAILABILITY | false | 5 min |
| Process Open File Descriptors | ProcessOpenFileDescriptors | none | UTILIZATION | false | 5 min |
| Process Threads | ProcessThreads | none | UTILIZATION | false | 5 min |
| Availability | Availability | percentage | AVAILABILITY | true | 5 min |
| Heap Memory Free | HeapMemoryFree | B | UTILIZATION | true | 5 min |
| Thread Count | ThreadCount | none | UTILIZATION | true | 5 min |
| Total HotSpot Compilation Time | TotalHotSpotCompilationTime | ms | PERFORMANCE | true | 5 min |
|
配置帮助:
一般日志和配置追踪属性
启用配置追踪 - 检查启用配置追踪
配置文件 - 逗号分隔的配置文件跟踪列表。相对文件是指相对于$ {安装路径}
启用日志追踪 - 检查启用日志追踪
跟踪事件日志级别 - 仅跟踪时间级别等于或大于这个级别.顺序是: [Error, Warn, Info, Debug]
映射：
FATAL,ERROR -> Error
WARN -> Warn
INFO -> Info
DEBUG -> Debug
登录模式匹配 - 包括匹配给定的正则表达式的消息。给定的模式可以是日志消息或正则表达式的子串。请参见：java.util.regex.Pattern。
登录模式排除 - 排除匹配给定的正则表达式的消息。
日志文件 - 逗号分隔的日志文件跟踪列表。相对文件是指相对于$ {安装路径}。
当前位置：
论坛首页 »
自由讨论区 »
Hadoop，ERP及大数据讨论区
»
发起投票
技术讨论
加好友
发消息
2013-7-10 10:00:23 |
赞(
操作
