好开发

java实现操作kubernets api

lidasheng — Tue, 15 Oct 2019 01:49:00 +0000

最近需要用java连接kubernets api操作k8s的service、rc等，做个记录 1.https://github.com/kubernetes-client/java/下载开源k8s客户端 2.k8s server api默认监听6443端口，上代码： ApiClient apiClient = new ApiClient(); apiClient.setBasePath("https://12.6.89.6:6443");//api server地址 apiClient.setVerifyingSsl(false);//设置不验证ssl证书，因为自己的证书都是不可信任的 String token = "sghkdsjgheruighkj";//k8s server的token apiClient.addDefaultHeader("Authorization", "Bearer "+token); api = new CoreV1Api(apiClient);//获得登录连接api //创建ReplicationController api.createNamespacedReplicationController("default", body, "false", null, null); //创建service api.createNamespacedService("default", body, "false", null, null); 这样就能连接k8s server api 进行远程操作。

powerdesigner在实体图中显示列注释

lidasheng — Thu, 23 Mar 2017 03:53:07 +0000

在powerdesigner中选择 Tools->Display Preferences->Content->Table->Advanced...->Columns->select 选中Code后，将它上移到第一位这样可以将code、name、type三项显示在ER图中，然后运行脚本，将注释comment的内容替换到code或name中，即可。 PowerDesigner拥有强大的建模功能，同时，它也对脚本语言提供了支持。菜单Tools -> Execute Commands -> Edit/Run Script打开的窗口中，可以执行用户编写的VBS脚本，某些情况下，这可以节省大量的重复性工作，达到提高效率的目的。 vbs文件内容： Option Explicit ValidationMode = True InteractiveMode = im_Batch Dim system, file Set system = CreateObject("Scripting.FileSystemObject") Dim ForReading, ForWriting, ForAppending '打开文件选项 ForReading = 1 ' 只读 ForWriting = 2 ' 可写 ForAppending = 8 ' 可写并追加 '打开文本文件 Set file = system.OpenTextFile("C:\pdcomment.txt", ForWriting, true) '判断当前model是否物理数据模型 Dim mdl Set mdl = ActiveModel If (mdl Is Nothing) Then MsgBox "处理对象无模型" ElseIf Not mdl.IsKindOf(PdPDM.cls_Model) Then MsgBox "当前模型不是物理数据模型" Else ProcessFolder mdl,file End If file.Close '****************************************************************************** Private sub ProcessFolder(folder,file) Dim i,j,k i=0:j=0:k=0 '列数组，记录字段里不重复的comment Dim ColumnComment() Dim ColumnCommentNumber() ReDim Preserve ColumnComment(i) ReDim Preserve ColumnCommentNumber(i) Dim tbl '当前表 Dim col '当前字段 dim curComment '当前字段comment '处理模型中的表 for each tbl in folder.tables if not tbl.isShortcut then if len(trim(tbl.comment))<>0 then '可以在这里显示table的comment 'tbl.code = tbl.code+"("+trim(tbl.comment)+")" end if '处理表中的列 for each col in tbl.columns k = 0 curComment = trim(col.comment) if len(curComment)<>0 then '遍历相异的comment数组 for j = 0 to i if ColumnComment(j) = curComment then '如果找到相同的comment,则相关计数器加1 ColumnCommentNumber(j) = ColumnCommentNumber(j) + 1 k = j end if Next '如果没有相同的comment,则k=0,此时ColumnCommentNumber(0)也为0 '否则ColumnCommentNumber(k)不为0 if ColumnCommentNumber(k) <> 0 then col.code = curComment & cstr(ColumnCommentNumber(k)) else col.code = curComment 'ColumnComment(0)、ColumnCommentNumber(0)永远为空 '将相异的comment记录添加到数组中 i = i + 1 ReDim Preserve ColumnComment(i) ReDim Preserve ColumnCommentNumber(i) ColumnComment(i) = curComment ColumnCommentNumber(i) = 0 end if else '写入文件中 file.WriteLine "comment on column "+ tbl.code+"."+col.code+" is '';" end if next end if '由于不同表的code允许相同,因此此时重新初始化。 '因为ColumnComment(0)、ColumnCommentNumber(0)为空，可以保留 ReDim Preserve ColumnComment(0) ReDim Preserve ColumnCommentNumber(0) i=0:j=0:k=0 next Dim view '当前视图 for each view in folder.Views if not view.isShortcut then '可以在这里显示view的comment 'view.code = view.comment end if next '对子目录进行递归 Dim subpackage 'folder For Each subpackage In folder.Packages if not subpackage.IsShortcut then ProcessFolder subpackage , file end if Next end sub

Lucene+HighLighter高亮显示实例

lidasheng — Fri, 08 Jul 2016 07:53:14 +0000

功能包括：创建索引、检索索引、高亮显示查询结果。分词使用的庖丁解牛。使用前先下载相关的LuceneCore jar包、LuceneHighLighter jar包、庖丁解牛分分词jar包、庖丁解牛词典。并设定环境变量PAODING_DIC_HOME指向词典位置。前两个可以到官方网站找，庖丁去http://code.google.com/p/paoding/downloads/list下载。 Lucene庖丁整合方式1： 1、将paoding-analysis.jar拷贝到项目的WEB-INF/lib目录; 2、接着需要设置环境变量PAODING_DIC_HOME,变量名:PAODING_DIC_HOME 变量值:E:\paoding\dic 3、第三步将E:\paoding\src目录下的paoding-dic-home.properties属性文件拷贝到项目的src目录下,添加2行 paoding.dic.home.config-fisrt=this paoding.dic.home=E:/paoding/dic Lucene庖丁整合方式2：修改E:\paoding\src\paoding-dic-home.properties,增加一行 paoding.dic.home=classpath:dic 然后运行ant重新生成一个庖丁jar，拷贝到lib下就OK了。第一种方式便于更新字典，第二种便于移植。本例使用第二种方法整合。关于庖丁环境的设置可以参考net\paoding\analysis\Constants.java。使用时注意LuceneCore和LuceneHighLighter的版本配置。我开始使用lucene-core-2.3.2.jar+Highlighter 2.4，后台报错，明显的版本问题。现在使用的是Lucene 2.3.2 + Highlighter 2.2.0。主要代码实现： CreateIndex：创建索引文件

Java代码

package demo;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;
import net.paoding.analysis.analyzer.PaodingAnalyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;
public class CreateIndex {
public void createIndex() throws Exception {
File surceFileDir = new File("D:\\save\\source");
File indexFileDir = new File("D:\\save");
//Analyzer luceneAnalyzer = new StandardAnalyzer();
Analyzer luceneAnalyzer = new PaodingAnalyzer();//使用庖丁解牛分词法
IndexWriter indexWriter = new IndexWriter(indexFileDir, luceneAnalyzer, true);///参数isEmpty是false表示增量索引
File[] sourceFextFiles = surceFileDir.listFiles();
long startTime = new Date().getTime();
// 增加document到索引去
for (int i = 0; i < sourceFextFiles.length; i++) {
if (sourceFextFiles[i].isFile()
&& sourceFextFiles[i].getName().endsWith(".txt")) {
System.out.println("File " + sourceFextFiles[i].getCanonicalPath() + "正在被索引....");
String temp = FileReaderAll(sourceFextFiles[i].getCanonicalPath(), "GBK");
System.out.println(temp);
Document document = new Document();
Field FieldPath = new Field("path", sourceFextFiles[i].getPath(), Field.Store.YES, Field.Index.NO);
Field FieldBody = new Field("body", temp, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS);
Field FieldTitle = new Field("title", temp, Field.Store.YES, Field.Index.TOKENIZED, Field.TermVector.WITH_POSITIONS_OFFSETS);
document.add(FieldPath);
document.add(FieldBody);document.add(FieldTitle);
indexWriter.addDocument(document);
}
}
// optimize()方法是对索引进行优化
indexWriter.optimize();
indexWriter.close();
// 测试一下索引的时间
long endTime = new Date().getTime();
System.out.println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!"
+ indexFileDir.getPath());
}
public static String FileReaderAll(String FileName, String charset)
throws IOException {
BufferedReader reader = new BufferedReader(new InputStreamReader(
new FileInputStream(FileName), charset));
String line = new String();
String temp = new String();
while ((line = reader.readLine()) != null) {
temp += line;
}
reader.close();
return temp;
}
public static void main(String[] args) {
try {
new CreateIndex().createIndex();
} catch (Exception e) {
e.printStackTrace();
}
}
}

QueryHighLighter：检索关键字并高亮显示

Java代码

package demo;
import java.io.StringReader;
import net.paoding.analysis.analyzer.PaodingAnalyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.BooleanClause;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocCollector;
import org.apache.lucene.search.highlight.Highlighter;
import org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleFragmenter;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import test.TestLuceneHighlighter2;
public class QueryHighLighter {
private static final String FIELD_TITLE = "title";
private static final String FIELD_BODY = "body";
public synchronized Analyzer getAnalyzer() {
return new PaodingAnalyzer();// 此处使用"庖丁解牛"分词法，另外一种是中科院分词法
}
public String test(String queryString, int begin, int number) {
StringBuffer sb = new StringBuffer();
IndexSearcher isearcher = null;
try {
isearcher = new IndexSearcher("D:\\save");
BooleanClause.Occur[] clauses = { BooleanClause.Occur.SHOULD,
BooleanClause.Occur.SHOULD };
TopDocCollector collector = new TopDocCollector(10);
QueryParser queryParse = new QueryParser(FIELD_TITLE, getAnalyzer());
Query query = queryParse.parse(queryString);
isearcher.search(query, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;
// 用这个进行高亮显示，默认是..
// 用这个指定<read>..</read>
SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("", "");
// 构造高亮
// 指定高亮的格式
// 指定查询评分
Highlighter highlighter = new Highlighter(simpleHTMLFormatter, new QueryScorer(query));
// 这个一般等于你要返回的，高亮的数据长度
// 如果太小，则只有数据的开始部分被解析并高亮，且返回的数据也少
// 太大，有时太浪费了。
highlighter.setTextFragmenter(new SimpleFragmenter(Integer.MAX_VALUE));
for (int i = begin; i < hits.length && i < begin + number; i++) {
Document doc = isearcher.doc(hits[i].doc);
String value = doc.get(FIELD_TITLE);
String value2 = doc.get(FIELD_BODY);
// 有三个参数
// 分析器
// 要解析的字段名
// 要解析的数据
//System.out.println(highlighter.getBestFragment(getAnalyzer(),
// FIELD_TITLE, doc.get(FIELD_TITLE)));
if (value != null) {
TokenStream tokenStream = getAnalyzer().tokenStream(FIELD_TITLE, new StringReader(value));
String str = highlighter.getBestFragment(tokenStream, value);
sb.append("<li><li>").append(str).append(" ");
System.out.println(str);
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (isearcher != null) {
try {
isearcher.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
return sb.toString();
}
public static void main(String[] args){
TestLuceneHighlighter2 t = new TestLuceneHighlighter2();
String queryString = "中华人民共和国";
int begin = 0;
int number = 10;
t.test(queryString, begin, number);
}
}
package demo;
import java.io.StringReader;
import net.paoding.analysis.analyzer.PaodingAnalyzer;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.BooleanClause;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocCollector;
import org.apache.lucene.search.highlight.Highlighter;
import org.apache.lucene.search.highlight.QueryScorer;
import org.apache.lucene.search.highlight.SimpleFragmenter;
import org.apache.lucene.search.highlight.SimpleHTMLFormatter;
import test.TestLuceneHighlighter2;
public class QueryHighLighter {
private static final String FIELD_TITLE = "title";
private static final String FIELD_BODY = "body";
public synchronized Analyzer getAnalyzer() {
return new PaodingAnalyzer();// 此处使用"庖丁解牛"分词法，另外一种是中科院分词法
}
public String test(String queryString, int begin, int number) {
StringBuffer sb = new StringBuffer();
IndexSearcher isearcher = null;
try {
isearcher = new IndexSearcher("D:\\save");
BooleanClause.Occur[] clauses = { BooleanClause.Occur.SHOULD,
BooleanClause.Occur.SHOULD };
TopDocCollector collector = new TopDocCollector(10);
QueryParser queryParse = new QueryParser(FIELD_TITLE, getAnalyzer());
Query query = queryParse.parse(queryString);
isearcher.search(query, collector);
ScoreDoc[] hits = collector.topDocs().scoreDocs;
// 用这个进行高亮显示，默认是..
// 用这个指定<read>..</read>
SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("", "");
// 构造高亮
// 指定高亮的格式
// 指定查询评分
Highlighter highlighter = new Highlighter(simpleHTMLFormatter, new QueryScorer(query));
// 这个一般等于你要返回的，高亮的数据长度
// 如果太小，则只有数据的开始部分被解析并高亮，且返回的数据也少
// 太大，有时太浪费了。
highlighter.setTextFragmenter(new SimpleFragmenter(Integer.MAX_VALUE));
for (int i = begin; i < hits.length && i < begin + number; i++) {
Document doc = isearcher.doc(hits[i].doc);
String value = doc.get(FIELD_TITLE);
String value2 = doc.get(FIELD_BODY);
// 有三个参数
// 分析器
// 要解析的字段名
// 要解析的数据
//System.out.println(highlighter.getBestFragment(getAnalyzer(),
// FIELD_TITLE, doc.get(FIELD_TITLE)));
if (value != null) {
TokenStream tokenStream = getAnalyzer().tokenStream(FIELD_TITLE, new StringReader(value));
String str = highlighter.getBestFragment(tokenStream, value);
sb.append("<li><li>").append(str).append(" ");
System.out.println(str);
}
}
} catch (Exception e) {
e.printStackTrace();
} finally {
if (isearcher != null) {
try {
isearcher.close();
} catch (Exception e) {
e.printStackTrace();
}
}
}
return sb.toString();
}
public static void main(String[] args){
TestLuceneHighlighter2 t = new TestLuceneHighlighter2();
String queryString = "中华人民共和国";
int begin = 0;
int number = 10;
t.test(queryString, begin, number);
}
}

附加上传net\paoding\analysis\Constants.java便于理解参数设置：

Java代码

package net.paoding.analysis;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
public class Constants {
public static final String DIC_HOME_CONFIG_FIRST = "paoding.dic.home.config-first";
public static final String DIC_HOME_CONFIG_FIRST_DEFAULT = "system-env";
public static final String ENV_PAODING_DIC_HOME = "PAODING_DIC_HOME";
// -------------------------------------------------------------
public static final String DIC_HOME = "paoding.dic.home";
public static final String DIC_HOME_DEFAULT = null;
// -------------------------------------------------------------
//
public static final String DIC_CHARSET = "paoding.dic.charset";
public static final String DIC_CHARSET_DEFAULT = "UTF-8";
// -------------------------------------------------------------
// dictionaries which are skip
public static final String DIC_SKIP_PREFIX = "paoding.dic.skip.prefix";
public static final String DIC_SKIP_PREFIX_DEFAULT = "x-";
// -------------------------------------------------------------
// chinese/cjk charactors that will not token
public static final String DIC_NOISE_CHARACTOR = "paoding.dic.noise-charactor";
public static final String DIC_NOISE_CHARACTOR_DEFAULT = "x-noise-charactor";
// -------------------------------------------------------------
// chinese/cjk words that will not token
public static final String DIC_NOISE_WORD = "paoding.dic.noise-word";
public static final String DIC_NOISE_WORD_DEFAULT = "x-noise-word";
// -------------------------------------------------------------
// unit words, like "ge", "zhi", ...
public static final String DIC_UNIT = "paoding.dic.unit";
public static final String DIC_UNIT_DEFAULT = "x-unit";
// -------------------------------------------------------------
// like "Wang", "Zhang", ...
public static final String DIC_CONFUCIAN_FAMILY_NAME = "paoding.dic.confucian-family-name";
public static final String DIC_CONFUCIAN_FAMILY_NAME_DEFAULT = "x-confucian-family-name";
// -------------------------------------------------------------
// like
public static final String DIC_FOR_COMBINATORICS = "paoding.dic.for-combinatorics";
public static final String DIC_FOR_COMBINATORICS_DEFAULT = "x-for-combinatorics";
// -------------------------------------------------------------
// like
public static final String DIC_DETECTOR_INTERVAL = "paoding.dic.detector.interval";
public static final String DIC_DETECTOR_INTERVAL_DEFAULT = "60";
// -------------------------------------------------------------
// like "default", "max", ...
public static final String ANALYZER_MODE = "paoding.analyzer.mode";
public static final String ANALYZER_MOE_DEFAULT = "most-words";
// -------------------------------------------------------------
//
public static final String ANALYZER_DICTIONARIES_COMPILER = "paoding.analyzer.dictionaries.compiler";
public static final String ANALYZER_DICTIONARIES_COMPILER_DEFAULT = null;
// -------------------------------------------------------------
private static final Mapmap = new HashMap();
static {
map.put(DIC_HOME_CONFIG_FIRST, DIC_HOME_CONFIG_FIRST_DEFAULT);
map.put(DIC_HOME, DIC_HOME_DEFAULT);
map.put(DIC_CHARSET, DIC_CHARSET_DEFAULT);
map.put(DIC_SKIP_PREFIX, DIC_SKIP_PREFIX_DEFAULT);
map.put(DIC_NOISE_CHARACTOR, DIC_NOISE_CHARACTOR_DEFAULT);
map.put(DIC_NOISE_WORD, DIC_NOISE_WORD_DEFAULT);
map.put(DIC_UNIT, DIC_UNIT_DEFAULT);
map.put(DIC_CONFUCIAN_FAMILY_NAME, DIC_CONFUCIAN_FAMILY_NAME_DEFAULT);
map.put(DIC_FOR_COMBINATORICS, DIC_FOR_COMBINATORICS_DEFAULT);
map.put(DIC_DETECTOR_INTERVAL, DIC_DETECTOR_INTERVAL_DEFAULT);
map.put(ANALYZER_MODE, ANALYZER_MOE_DEFAULT);
map.put(ANALYZER_DICTIONARIES_COMPILER, ANALYZER_DICTIONARIES_COMPILER_DEFAULT);
}
//
public static final String KNIFE_CLASS = "paoding.knife.class.";
public static String getProperty(Properties p, String name) {
return p.getProperty(name, (String) map.get(name));
}
}

hbase上应用lucene创建索引及检索

lidasheng — Fri, 08 Jul 2016 07:32:31 +0000

hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来创建索引，代码API非常简单，熟悉lucene的朋友可以很方便地创建。以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并进行简单的基于url的索引的代码。当取到search的结果后，就可以拿到想要的数据了。由于分词后将原始内容进行了反向索引，所以匹配就转化为了查询，速度相当快。其中getDocumentFromHTable为读取一张hbase上己有的表，将url字段提取出来创建content索引。创建索引的实质是用了HBaseIndexWriter和HBaseIndexReader两个分别继承自IndexWriter和IndexReader的类来做索引的读取和写入。同时使用了HBaseIndexStore来做存储。而创建索引使用的分词等仍然是使用标准的lucene API。注意hbasene使用的是hbase-0.20.5，需要修改少量源代码才能运行在0.90.x以上的版本中。这里对创建索引表使用到的结构做下简单的说明，因为是lucene入门级水平，所以各位请尽管拍砖讨论。索引表由以下几个CF构成:

fm.sequence: 记录sequenceId，在执行createLuceneIndexTable时需要写死该CF的row为sequenceId,qulifier为qual.sequence，值为-1。可以不用理会
fm.doc2int: DocumentId,每个document都会有一个这样的id,如果Field.Store设置为YES，则能在索引表中查询到该id并得到完整的内容。
fm.termVector: 向量偏移，用于模糊查找，记录偏移量等信息
fm.termFrequency:分词后的关键词在每个document中出现的频率，qulifier为documentId，value为出现次数
fm.fields:记录了content内容，row为documentId，value为document的全文内容，它和fm.docint是相反的，后者是反向索引。
fm.payloads:扩展CF，目前还没有用到

Java代码

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTablePool;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.document.Fieldable;
import org.apache.lucene.index.IndexReader;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.util.Version;
import org.hbasene.index.HBaseIndexReader;
import org.hbasene.index.HBaseIndexStore;
import org.hbasene.index.HBaseIndexWriter;
public class test{
static final String indexName = "myindex";
static final String dataName = "t1";
public static void main(String[] args) throws IOException {
try{
Configuration conf = HBaseConfiguration.create(); //hbase-site.xml in the classpath
conf.set("hbase.rootdir", "hdfs://192.168.0.1:9000/hbase");
conf.set("hbase.zookeeper.quorum", "192.168.0.1,192.168.0.2,192.168.0.3");
HTablePool tablePool = new HTablePool(conf, 10);
HBaseIndexStore.createLuceneIndexTable(indexName, conf, true);
//Write
HBaseIndexStore hbaseIndex = new HBaseIndexStore(tablePool, conf, indexName);
HBaseIndexWriter writer = new HBaseIndexWriter(hbaseIndex, "content"); //Name of the primary key field.
getDocument(writer);
writer.close();
//Read/Search
IndexReader reader = new HBaseIndexReader(tablePool, indexName, "f");
IndexSearcher searcher = new IndexSearcher(reader);
Term term = new Term("content", "item.taobao.com");
TermQuery termQuery = new TermQuery(term);
TopDocs docs = searcher.search(termQuery, 3);
searcher.close();
}catch(IOException e){
e.printStackTrace();
throw e;
}
}
private static void getDocument(HBaseIndexWriter writer) throws IOException{
Document doc = new Document();
doc.add(new Field("content", "some content some dog", Field.Store.YES,
Field.Index.ANALYZED));
writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
doc = new Document();
doc.add(new Field("content", "some id", Field.Store.NO, Field.Index.ANALYZED));
writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
doc = new Document();
doc.add(new Field("content", "hot dog", Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS));
writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
}
private static void getDocumentFromHTable(HTablePool tablePool, HBaseIndexWriter writer) throws IOException {
Document doc = new Document();
Scan scan = new Scan();
HTable htable = (HTable)tablePool.getTable(dataName);
ResultScanner results = htable.getScanner(scan);
Result row;
while((row = results.next()) != null){
doc = new Document();
String value = new String(row.getValue("test".getBytes(), null));
String url = value.split("\"")[2];
doc.add(new Field("content", url, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_OFFSETS));
writer.addDocument(doc, new StandardAnalyzer(Version.LUCENE_30));
}
}
}

以下为运行后查看表的中情况：

查看图片附件

hadoop单机版配置

lidasheng — Thu, 19 May 2016 01:21:23 +0000

zookeeper

zoo.cfg

tickTime=2000

dataDir=/dataDisk/bmx/hadoop/hadooop2data/zkdata

dataLogDir=/dataDisk/bmx/hadoop/hadooop2data/zkdatalog

clientPort=2181

maxClientCnxns=500

autopurge.snapRetainCount=3

autopurge.purgeInterval=1

hadoop

core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://hbase01</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/dataDisk/bmx/hadoop/hadooop2data/tmp</value>

</property>

<name>hadoop.proxyuser.hduser.hosts</name>

</property>

<name>hadoop.proxyuser.hduser.groups</name>

</property>

hdfs-site.xml

<value>/dataDisk/bmx/hadoop/hadooop2data/name</value>

</property>

<value>/dataDisk/bmx/hadoop/hadooop2data/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.datanode.max.transfer.threads</name>

</property>

<name>dfs.nameservices</name>

<value>hbase01</value>

</property>

yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>hbase01</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

hbase

hbase-site.xml

<name>hbase.rootdir</name>

<value>hdfs://hbase01/hbase</value>

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.master</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>hbase01:2181</value>

</property>

<name>hbase.master.maxclockskew</name>

</property>

more /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

172.30.250.111 hbase01

more /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hbase01

NOZEROCONF=yes

利用python访问Hbase（Thrift模块安装与测试）

lidasheng — Wed, 18 May 2016 03:25:40 +0000

hadoop环境介绍： master服务：node1 slave服务器：node2，node3，node4 mysql服务器：node29 Thrift安装在node1服务器上！ 相关软件版本： hadoop版本：hadoop-0.20.2 sqoop版本：sqoop-1.2.0-CDH3B4 java版本：jdk1.7.0_67 mysql版本：5.1.65 Thrift版本：thrift-0.9.0 thrift安装链接：http://thrift.apache.org/download/ python版本：2.7.3 ps：python2.5版本使用thrift有问题 一：测试前的准备工作 1）首先把mysql数据库中数据加载到hbase中： mysql数据如下：将mysql的数据导入hbase的命令格式为： sqoop import --connect jdbc:mysql://mysqlserver_IP/databaseName --username --password password --table datatable --hbase-create-table --hbase-table hbase_tablename --column-family col_fam_name --hbase-row-key key_col_name 说明：databaseName 和datatable 是mysql的数据库和表名，hbase_tablename是要导成hbase的表名，key_col_name可以指定datatable中哪一列作为hbase新表的rowkey，col_fam_name是除rowkey之外的所有列的列族名 2）在node1上加载mysql数据（node29）到hbase中： sqoop import --connect jdbc:mysql://172.16.41.29/sqoop --username sqoop --password routon --table students --hbase-create-table --hbase-table students --column-family stuinfo --hbase-row-key id 在hbase中验证是否加载成功： 二 Thrift软件安装 python版本：2.7.3 步骤为： 1）安装python2.7.3 说明：python2.7.3与thrift结合没问题，python2.5版本好像不行！生成的Hbase.py文件中的语法rhel5 自带的python2.4 不支持 tar fvxj Python-2.7.3.tar.bz2 ./configure --prefix=/usr/local/python2.7 make && make install python2.7.3路径为： /usr/local/python2.7/bin/python 修改默认的python版本为2.7 把python2.7设置为环境变量，系统默认python版本为2.4 rm -rf /usr/bin/python ln -s /usr/local/python2.7/bin/python /usr/bin/python [root@node1 thrift-0.9.0]# python -V Python 2.7.3 2)安装thrift tar fvxz thrift-0.9.0.tar.gz cd thrift-0.9.0 ./configure make && make install thrift 0.9.0 Building C++ Library ......... : no Building C (GLib) Library .... : yes Building Java Library ........ : no Building C# Library .......... : no Building Python Library ...... : yes Building Ruby Library ........ : no Building Haskell Library ..... : no Building Perl Library ........ : no Building PHP Library ......... : no Building Erlang Library ...... : no Building Go Library .......... : no Building D Library ........... : no Python Library: Using Python .............. : /usr/bin/python 可以看到thrift支持很多语言，根据目前需求，支持python就可以了！查看Thrift版本： [root@node1 thrift-0.9.0]# thrift -version Thrift version 0.9.0 3）让thrift支持hbase 执行以下命令： thrift --gen py /usr/local/hbase-0.90.5/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift 会在当前目前下创建一个目录，目录名称为： [hadoop@node1 ~]$ ll total 7056 -rw-rw-r-- 1 hadoop hadoop 3045 Oct 14 13:55 access_log2.txt -rw-r--r-- 1 hadoop hadoop 7118627 Feb 1 2012 access_log.txt -rw-rw-r-- 1 hadoop hadoop 3500 Oct 22 10:17 derby.log drwxrwxr-x 3 hadoop hadoop 4096 Oct 24 15:28 gen-py -rw-rw-r-- 1 hadoop hadoop 3551 Oct 13 11:21 pig_1413170429087.log gen-py目录结构如下： [hadoop@node1 ~]$ tree gen-py/ gen-py/ |-- __init__.py `-- hbase |-- Hbase-remote |-- Hbase.py |-- __init__.py |-- constants.py `-- ttypes.py 1 directory, 6 files 4）把gen-py目录复制到python相关目录中： cp -r gen-py/hbase/ /usr/local/python2.7/lib/python2.7/site-packages/. 5）让python可以import thrift模块： [root@node1 ~]# ln -s /usr/lib/python2.7/site-packages/thrift* /usr/local/python2.7/lib/python2.7/site-packages/. [root@node1 ~]# ls -l /usr/local/python2.7/lib/python2.7/site-packages/ total 12 drwxr-xr-x 2 root root 4096 Oct 24 15:32 hbase -rw-r--r-- 1 root root 119 Oct 24 11:30 README lrwxrwxrwx 1 root root 39 Oct 24 15:50 thrift -> /usr/lib/python2.7/site-packages/thrift lrwxrwxrwx 1 root root 60 Oct 24 15:50 thrift-0.9.0-py2.7.egg-info -> /usr/lib/python2.7/site-packages/thrift-0.9.0-py2.7.egg-info 6）启动thrift服务： hbase thrift -p 9090 start 7）在node1上编写python脚本，查看hbase中有哪些表：

#! /usr/bin/env python
#coding=utf-8
import sys
#Hbase.thrift生成的py文件放在这里
sys.path.append('/usr/local/lib/python2.7/site-packages/hbase')
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
#如ColumnDescriptor 等在hbase.ttypes中定义
from hbase.ttypes import *
# Make socket
#此处可以修改地址和端口
transport = TSocket.TSocket('172.16.41.26', 9090)
# Buffering is critical. Raw sockets are very slow
# 还可以用TFramedTransport,也是高效传输方式
transport = TTransport.TBufferedTransport(transport)
# Wrap in a protocol
#传输协议和传输过程是分离的，可以支持多协议
protocol = TBinaryProtocol.TBinaryProtocol(transport)
#客户端代表一个用户
client = Hbase.Client(protocol)
#打开连接
transport.open()
#打印表名
print(client.getTableNames())

执行脚本：到此，通过thrift插件，python就可以和hbase进行通信！

hbase命令

lidasheng — Wed, 18 May 2016 01:06:43 +0000

导出文件：

./hbase org.apache.hadoop.hbase.mapreduce.Driver export 'bmx-dev-system1_bmx-cms_Code' file:///dataDisk/hbaseCopy/localCopy/bmx-dev-system1_bmx-cms_Code

./hbase org.apache.hadoop.hbase.mapreduce.Driver export 'bmx-dev-system1_bmx-cms_Blog' file:///dataDisk/hbaseCopy/localCopy/bmx-dev-system1_bmx-cms_Blog

导入文件：

./hbase org.apache.hadoop.hbase.mapreduce.Driver import ‘bmx-dev-system1_bmx_dev_AppCollection’ file:///dataDisk/hbaseCopy/msvm06/bmx-dev-system1_bmx_dev_AppCollection/part-m-00000

//创建快照 http://www.importnew.com/4966.html

http://itindex.net/detail/51698-hbase-%E6%95%B0%E6%8D%AE-%E5%A4%87%E4%BB%BD

snapshot 'bmx-dev-system1_bmx-cms_Blog','bmx-dev-system1_bmx-cms_Blog'

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot 'bmx-dev-system1_bmx-cms_Blog' -copy-to hdfs://172.30.250.111:9000/hbase

./hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot 'bmx-dev-system1_bmx-cms_Blog' -copy-to file:///dataDisk/hbaseCopy

HBase命令：快照操作

通过检查hbase-site.xml中的hbase.snapshot.enabled是否设置为true确认打开了快照许可。获取指定表的快照使用snapshot命令（不产生文件复制）

1	`hbase> snapshot ‘tableName’, ‘snapshotName’`

列出所有的快照，使用 list_snapshot 命令。会展示出快照名称，源表，以及创建日期和时间

hbase> list_snapshots

SNAPSHOT TABLE + CREATION TIME

TestSnapshot TestTable (Mon Feb 25 21:13:49 +0000 2013)

删除快照使用 deleted_snapshot 命令。删除快照不会影响到克隆表或者之后生成的快照。

1	`hbase> delete_snapshot ‘snapshotName’`

使用clone_snapshot命令从指定的快照生成新表（克隆）。由于不会产生数据复制，所以最终用到的数据不会是之前的两倍。

1	`hbase> clone_snapshot ‘snapshotName’, ‘newTableName’`

使用restore_snapshot命令将指定快照内容替换当前表结构/数据。

1	`hbase> restore_snapshot ‘snapshotName’`

使用ExportSnapshot工具将现有快照导出至其他集群。导出工具不会影响到域服务器负载，只是工作在HDFS层面所以需要指定HDFS路径（其他集群的hbase根目录）

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot -snapshot

SnapshotName -copy-to hdfs:///srv2:8082/hbase

scp命令：

MSVM07 NodFaAx2ya7T

scp -r root@172.30.248.215:/dataDisk/hbaseCopy/AppCount /dataDisk/hbaseCopy0516/AppCount

MSVM09 yc_123#DfGDfG

scp -r root@172.30.249.21:/dataDisk/hbaseCopy/AppBaseInfoNew2 /dataDisk/hbaseCopy0516/AppBaseInfoNew2

MSVM06 sxd68eNydGET

scp -r root@172.30.251.123:/dataDisk/hbaseCopy/AppBaseInfoNew2 /dataDisk/hbaseCopy0516/AppBaseInfoNew2

cd /dataDisk/bmx/hbase/bin

cd /dataDisk/hbaseCopy

Hadoop 2.6 日志文件和MapReduce的log文件研究心得

lidasheng — Tue, 17 May 2016 09:49:07 +0000

Hadoop 2.6包含两个大部分：DFS和Yarn，而Yarn里面又包含在Resource Manager的JVM中运行的部分和在Node Manager里面运行的JVM部分。所以整个系统（不考虑加装ZooKeeper的HA的情况）的log是分别放在3个log里面的。 1. 对于DFS的log，在Name Node和Data Node里面，默认可以在${HADOOP_INSTALL}/logs里面看到。这个是非DFS的文件，直接可以通过Linux文件系统看到。 2. 对于Yarn的log，在Resource Manager和Node Manager里面，默认可以在${HADOOP_INSTALL}/logs里面看到。这个也是非DFS的文件，直接可以通过Linux文件系统看到。

对于MapReduce任务的log，情况就比较的复杂了。在2.6里面，task是按照application->container的层次来管理的，所以在Name Node机器上运行mapreduce程序的时候，在console里面看到的log都可以通过在相应的data node/node manager里面的${HADOOP_INSTALL}/logs/userlogs下面找到。这个部分也是非DFS文件，直接可以通过Linux文件系统看到。这些log也可以通过Hadoop Web管理页面看到，比较方便。

网络上搜来的信息基本都是关于上面这些部分的。可对于一个开发人员而言，上面这些log对于调试程序的帮助就不大了。Java程序员会经常要用System.out/err来输出中间内容到standard output，而且工业界早就用logger来记录系统状态和帮助调试了。那么我们在mapreduce程序体里面怎么来得到这些log哪。首先讲讲System.out的输出，这个网络上的介绍还算详细。基本来说在main方法里面的部分都可以在console上输出。这一点不管是在Eclipse里面通过插件链接DFS运行on MapReduce的时候，还是直接在namenode上跑jar包，都可以看的到。直接编程读写DFS的程序也能够通过这个方法来看到中间结果和调试程序。而上面也说了，因为这个task的部分是运行在resource manager的启动的JVM里面（这个部分不是很确定，也许是单独启动的一个JVM），所以System.out的输出可以看到。而一旦程序进入Mapper和Reducer的部分，这个时候，任务是分发到datanode的机器里面跑，那里的JVM的输出就不会再返回到task的JVM了，所以在Mapper和Reducer里面的System.out输出是无法看到的。那么这个时候怎么来写log哪?网络搜索的结果基本给了3个方法：1. 用log4j来生成logger；2. 用apache common里面的LogFactory生成logger；3. 用MultipleOutput来自己写log输出。 1和2本质是一样的，只是调用现成的Logger类。3是要自己管理log文件的生成和输出，灵活但是很累。现在最关键的问题来了。我用Log4j或者LogFactory的Logger输出的log文件在哪里？搜了一天，基本讲的都语焉不详，特别是针对Hadoop 2.6的，没有找到。综合了几个帖子，终于发现了问题所在。为了能看到Logger输出的内容，需要做如下几件事： 1. 在启动Hadoop集群的时候，除了start-yarn.sh和start-dfs.sh，还要启动historyserver，命令是

 mr-jobhistory-daemon.sh start historyserver

mr-jobhistory-daemon.sh命令是在${HADOOP_INSTALL}/sbin/目录下面。启动完了，用jps命令可以看到有JobHistoryServer的进程启动。启动了HistoryServer后，就可以看到Tracking URL里面的History了。还能在Hadoop Web管理界面里看到每个Job的历史Map和Reduce任务，以及每个任务所在的datanode。点击Maps和Reduces后面的数字link，就能看到每个任务运行的情况。但是当去点击log的链接的时候，会碰到Aggregation function is not enabled错误。为了能看到每个Map和Reduce任务的Log，还必须在yarn-site.xml里面配置aggregation为true。

  <property>     <name>yarn.log-aggregation-enable</name>     <value>true</value>     <description>Configuration to enable or disable log aggregation</description>   </property>

然后将yarn-site.xml同步到所有的节点，在重启集群。这个时候再点击上面那个logs链接，就可以看到每个任务的log了，而Logger们输出的内容也在里面！！到了这里，就只剩下一个问题了。这个log文件在哪里？查看yarn-site.xml后终于发现了MapReduce任务的log的位置。

    <name>yarn.nodemanager.remote-app-log-dir</name>     <value>/logs</value>     <description>HDFS directory where the application logs are moved on application completion. Need to set appropriate permissions. Only applicable if log-aggregation is enabled. The default value is "/logs" or "/tmp/logs" </description>   </property>

注意红色字的部分，这里清楚的指明了这个log是存放在HDFS文件系统里面的，不是放在Linux文件系统里面的。在hdfs://namenode/logs/hadoop/logs里面，终于发现了每个任务对应的log文件夹。每个任务文件夹里有两个文件。分别对应的Map任务和Reduce任务。

[hadoop@SXV2V999 ~]$ hdfs dfs -ls hdfs://namenode/logs/hadoop/logs/application_1430285399789_0001 15/04/29 23:02:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 2 items -rw-r-----   2 hadoop supergroup      58369 2015-04-29 13:32 hdfs://namenode/logs/hadoop/logs/application_1430285399789_0001/<strong><em>hostname</em></strong>_39575 -rw-r-----   2 hadoop supergroup     399834 2015-04-29 13:32 hdfs://namenode/logs/hadoop/logs/application_1430285399789_0001/<strong><em>hostname</em></strong>_54053

hostname部分是对应的datanode的hostname。在Web页面里显示的也就是从这两个文件里读取并排版的。自此每个log文件的具体位置终于水落石出。

MapReduce的jobstatus分析

lidasheng — Tue, 17 May 2016 09:17:29 +0000

下面是一个完整的mapreduce job status，现通过文字来说明mapreduce消耗的资源情况及名词含义。 2016-01-07 15:37:06 INFO Job:1383 - Job job_1443106373325_140563 completed successfully 2016-01-07 15:37:06 INFO Job:1390 - Counters: 52 File System Counters FILE: Number of bytes read=50476611819 累计读取本地磁盘的文件数据大小，map和reduce端有排序，排序时需要读写本地文件。 FILE: Number of bytes written=44851815671 累计写入本地磁盘的文件数据大小，map和reduce端有排序，排序时需要读写本地文件，还有reduce做shuffle时，需要从map端拉取数据，也存在写入本地磁盘文件的情况。 FILE: Number of read operations=0 FILE: Number of large read operations=0 FILE: Number of write operations=0 HDFS: Number of bytes read=3285816319 整个job执行过程中，只有map端运行时，才从HDFS读取数据，这些数据不限于源文件内容，还包括所有map的split元数据 HDFS: Number of bytes written=350831425 Reduce的最终结果都会写入HDFS，就是一个job执行结果的总量。 HDFS: Number of read operations=1977 HDFS: Number of large read operations=0 HDFS: Number of write operations=600 Job Counters Killed map tasks=3 此job失败了多少个map task Launched map tasks=362 此job启动了多少个map task Launched reduce tasks=300 此job启动了多少个reduce task Other local map tasks=1 Data-local map tasks=320 Job在被调度时，如果启动了一个data-local(源文件的幅本在执行map task的taskTracker本地) Rack-local map tasks=41 Total time spent by all maps in occupied slots (ms)=30745916 Total time spent by all reduces in occupied slots (ms)=7818313 Total time spent by all map tasks (ms)=30745916 Total time spent by all reduce tasks (ms)=7818313 Total vcore-seconds taken by all map tasks=30745916 Total vcore-seconds taken by all reduce tasks=7818313 Total megabyte-seconds taken by all map tasks=31483817984 Total megabyte-seconds taken by all reduce tasks=8005952512 Map-Reduce Framework Map input records=123106620 所有map task从HDFS读取的文件总行数 Map output records=2708345640 map task的直接输出record是多少，就是在map方法中调用context.write的次数，也就是未经过Combine时的原生输出条数 Map output bytes=92998338307 Map的输出结果key/value都会被序列化到内存缓冲区中，所以这里的bytes指序列化后的最终字节之和 Map output materialized bytes=15102670672 Input split bytes=61748 Combine input records=0 Combine output records=0 Reduce input groups=22675333 Reduce总共读取了多少个这样的groups Reduce shuffle bytes=15102670672 reduce往map拉取中间结果的累计数据大小，如果map产生的中间结果是压缩文件，它的值是压缩文件解压前的大小 Reduce input records=2708345640 如果有Combiner的话，那么这里的数值就等于map端Combiner运算后的最后条数，如果没有，那么就应该等于map的输出条数 Reduce output records=22675333 所有reduce执行后输出的总条目数 Spilled Records=8118445302 spill过程在map和reduce端都会发生，这里统计在总共从内存往磁盘中spill了多少条数据 Shuffled Maps =107700 每个reduce几乎都得从所有map端拉取数据，每个copy线程拉取成功一个map的数据，那么增1，所以它的总数基本等于 reduce number * map number Failed Shuffles=0 Merged Map outputs=107700 GC time elapsed (ms)=865508 CPU time spent (ms)=46447150 每个task会读取对应进程的用户cpu时间和内核cpu时间，他们的和就是cpu时间。 Physical memory (bytes) snapshot=466476339200 这个是进程的当前物理内存使用大小。 Virtual memory (bytes) snapshot=887784427520 这个是进程的当前虚拟内存使用大小。 Total committed heap usage (bytes)=528945250304 每个task的jvm调用Runtime.getRuntime().totalMemory()获取jvm的当前堆大小。 Shuffle Errors BAD_ID=0 如果reduce的copy线程抓取过来的元数据中这个ID不是标准格式，那么此Counter增加 CONNECTION=0 表示copy线程建立到map端的连接有误 IO_ERROR=0 Reduce的copy线程如果在抓取map端数据时出现IOException，那么这个值相应增加 WRONG_LENGTH=0 map端的那个中间结果是有压缩好的有格式数据，所有它有两个length信息：源数据大小与压缩后数据大小。如果这两个length信息传输的有误(负值)，那么此Counter增加 WRONG_MAP=0 如果当前抓取的map数据不是copy线程之前定义好的map，那么就表示把数据拉错了 WRONG_REDUCE=0 如果抓取的数据表示它不是为此reduce而准备的，那还是拉错数据了 File Input Format Counters Bytes Read=3285754571 Map task的所有输入数据(字节)，等于各个map task的map方法传入的所有value值字节之和。 File Output Format Counters Bytes Written=350831425 2016-01-07 15:37:06 INFO BsnComHiveDaoImpl:989 - 结束运行mapreduce作业

HBase 定期备份

lidasheng — Tue, 17 May 2016 06:43:59 +0000

转载一份使用Export与Import定期备份的Python代码。每月15日做一次完整备份，每天进行一次增量备份。 import time import datetime from datetime import date import sys import os tablename=sys.argv[1] backupDst=sys.argv[2] today=date.today() if today.day == 15: //every month, we do a full backup backupSubFolder=backupDst+today.isoformat()+"-full" cmd="hbase org.apache.Hadoop.hbase.mapreduce.Export %s %s"%(tablename,backupSubFolder) else: yesterday=datetime.date.today()- datetime.timedelta(days=1) todayTimeStamp=time.mktime(today.timetuple()) yesTimeStamp=time.mktime(yesterday.timetuple()) backupSubFolder=backupDst+today.isoformat() cmd="hbase org.apache.hadoop.hbase.mapreduce.Export %s %s %s"%(tablename,backupSubFolder,str(int(todayTimeStamp)*1000) print cmd os.system(cmd) 注意最后的cmd字符串构建，视HBase版本在对应位置添加上版本号。