好开发

Read more

Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统（不考虑加装ZooKeeper的HA的情况）的log是分别放在3个log里面的。

1. 对于DFS的log，在Name Node和Data Node里面，默认可以在${HADOOP_INSTALL}/logs里面看到。这个是非DFS的文件，直接可以通过Linux文件系统看到。

2. 对于Yarn的log，在Resource Manager和Node Manager里面，默认可以在${HADOOP[......]

Read more

下面是一个完整的mapreduce job status，现通过文字来说明mapreduce消耗的资源情况及名词含义。

2016-01-07 15:37:06  INFO Job:1383 – Job job_1443106373325_140563 completed successfully

2016-01-07 15:37:06  INFO Job:1390 – Counters: 52

File System Counters

FILE: Number of bytes read=50476611819          累计读取本地磁盘的文件数据大小，map和[......]

Read more

转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。

import time
import datetime
from datetime import date
import sys
import os

tablename=sys.argv[1]
backupDst=sys.argv[2]
today=date.today()
if today.day == 15:    //every month, we do a full backup
backupSubFolder=backupDst+today.[......]

Read more