Kódrészletek / folyamatok

Workflow

• A project-nél Export... menüben ki kell választani, hogy JAR File-t akarunk exportolni, ezután továbblépve, jar fájlnév megadása után, a program belépési pontját be kell állítani a saját Driver class-ra.
• Ezután fel kell tölteni a docker container-re a jar forrásfájlt és az input fájlt is:
  • fájlok feltöltése: docker cp <fájlnév>.jar/.txt <container id>:<fájlnév>.jar/.txt pl: docker cp D:\eclipse-workspace\out namenode:out
• Csatlakozás a namenode bash-hoz docker exec -it namenode bash
• input fájlt külön fel kell másolni HDFS-re hdfs dfs -put in.txt in.txt
• Ezután futtathatod a programot: hadoop jar out\<fájlnév>.jar
• jar fájl futtatása végén győződj meg róla, hogy létrejött az output fájl: hdfs dfs -ls <outputFolder>/
• Helyes-e a kimenet: hdfs dfs -cat /user/root/<outputFolder>/part-r-00000

FileSystem

FileSystem fs;

try {

fs = FileSystem.get(conf);

if (fs.exists(new Path("tempOraiOut")))

fs.delete(new Path("tempOraiOut"),true);

} catch (IOException e1) {

e1.printStackTrace();

}