FileSystem fs=FileSystem.get(new URI("hdfs://localhost:9000"),new Configuration());
FileStatus[] flist=fs.listStatus(new Path("input/"));
FSDataInputStream fsdatainput=fs.open(flist[0].getPath());
BufferedReader bfr=new BufferedReader(new InputStreamReader(fsdatainput));
while(bfr.ready())
{
System.out.println(bfr.readLine());
}
直接讀取比較省事!!
2009年2月17日 星期二
2009年2月10日 星期二
hadoop FileSystem
最近又要開始接觸hadoop了，為了把資料在程式裡直接上傳到HDFS裡，努力嘗試找了非常久的api。終於找到了FileSystem！暫時順利的將資料傳到HDFS。
FileSystem uptohdfs = FileSystem.get(new Path("hdfs://localhost:9000"),
new Configuration());
uptohdfs.copyFromLocalFile(Path src, Path dst) ;
上傳成功，要記得執行的使用者有寫入的權限!!
FileSystem uptohdfs = FileSystem.get(new Path("hdfs://localhost:9000"),
new Configuration());
uptohdfs.copyFromLocalFile(Path src, Path dst) ;
上傳成功，要記得執行的使用者有寫入的權限!!
2008年5月8日 星期四
Hadoop 解除 safe mode
最近在測試hadoop，但是沒想到在reduce時卡點，
沒辦法只好Ctrl+c，但是問題也就跟著來了XD
先將hadoop停止後，再啟動hadoop
然後要刪除DFS裡的資料時，
就出現name node is in safe mode，就沒辦法刪除資料啦!
找了好久才找到答案，
沒辦法只好Ctrl+c，但是問題也就跟著來了XD
先將hadoop停止後，再啟動hadoop
然後要刪除DFS裡的資料時，
就出現name node is in safe mode，就沒辦法刪除資料啦!
找了好久才找到答案，
bin/hadoop dfsadmin -safemode leave
就可以把safemode解除，為了這個問題煩惱了好久Orz
訂閱：
文章 (Atom)