Hadoop版本：1.0.4，jdk：1.7.0_25 64bit。
在进行mahout算法分析的时候有时会遇到算法最后的输出文件是序列文件的情况下，这样就不能直接通过HDFS文件系统看到最终的结果了（乱码，因为是序列文件）。以前编写过一个可以直接把序列文件<key,value>读入到一个map变量中的java文件，叫做ReadArbiKV ，可以在下面的地址下载。
具体下载目录在 /2013年资料/10月/25日/Hadoop解析序列文件并可视化输出.。下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm
ReadArbiKV是读取任务序列文件到一个map变量里面，可以启动调试模式进行变量查看； ReadAndWritePatterns是读取序列文件，并解析其key和value，然后可视化输出，所谓可视化输出是指不是乱码的输出。但是上面的有个问题，就是当数据很大的时候，如果读不到一个map变量里面怎么办？
所以就可以使用下面的思路：一边读一边写。怎么个意思？直接读取序列文件的<key,value>，然后对key和value分别进行解析，最后直接进行输出。即每读取一行记录，解析一行，然后再输出一行。这样就不会有上面的问题了。
主程序 是ReadAndWritePatterns，其中需要实现IKVRegex接口，这个接口是解析key和value的标准。给出的代码中的AKVRegex、ImplAKVRegex是这个接口的两个实现，可以参考，其中AKVRegex是什么都不做的，只是把原始的类.toString()而已，ImplAKVRegex是有一些操作的，原来是针对fpg算法的最后输出的解析的，但是好像有点不是很对。
下面给出一个调用demo：
package mahout.fansy.fpg;
import java.io.IOException;
import junit.framework.TestCase;
import mahout.fansy.utils.fpg.AKVRegex;
import mahout.fansy.utils.fpg.ImplAKVRegex;
import mahout.fansy.utils.fpg.ReadAndWritePatterns ;
public class TestReadAndWritePatterns extends TestCase {
public void testReadAndWrite() throws IOException{
String input="hdfs://Ubuntu:9000/user/mahout/fp/output/frequentpatterns/part-r-00000";
String output="hdfs://ubuntu:9000/user/mahout/fp/output_/01.txt";
String jobtracker="ubuntu:9001";
// AKVRegex regex=;
ReadAndWritePatterns.readAndWritePatterns(input, output, jobtracker, new AKVRegex());
}
}
当前位置：
论坛首页 »
自由讨论区 »
Hadoop，ERP及大数据讨论区
»
发起投票
技术讨论
加好友
发消息
2013-10-31 14:45:54 |
赞(
操作
