PEGASUS on Ubuntu on VM

動作テストまで。とりあえず動いた(2010.11.11(Thu.))

============================================================
memo.txt の4の続きから

■ 5. SunのJavaのインストール

参照 : http://saburi380.blogspot.com/2009/11/1hadoop30ubuntucloudera.html

sudo emacs -nw /etc/apt/sources.list
# deb http://archive.canonical.com/ubuntu lucid partner を有効化
sudo aptitude update
sudo aptitude install sun-java6-jdk

java -version
# java version "1.6.0_22"
# Java(TM) SE Runtime Environment (build 1.6.0_22-b04)
# Java HotSpot(TM) Client VM (build 17.1-b03, mixed mode, sharing)

■ 6. はどーぽのインストール

apache公式からzipを持ってくるのがいいらしいのでそのようにする
参照 : http://hadoop.apache.org/common/docs/current/single_node_setup.html

sudo aptitude install ssh
# 要再起動？
wget http://ftp.kddilabs.jp/infosystems/apache//hadoop/core/hadoop-0.21.0/hadoop-0.21.0.tar.gz
tar zxvf hadoop-0.21.0.tar.gz

cd hadoop-0.21.0/conf
cp hadoop-env.sh hadoop-env.sh.orig
emacs -nw hadoop-env.sh
# export HADOOP_HOME=/home/nishii/hadoop-0.21.0
# export JAVA_HOME=/usr/lib/jvm/java-6-sun-1.6.0.22

cd ~/hadoop-0.21.0
emacs -nw conf/core-site.xml
emacs -nw conf/hdfs-site.xml
emacs -nw conf/mapred-site.xml
# 上のサイトを参照

emacs ~/.bashrc
# export HADOOP_HOME=/home/nishii/hadoop-0.21.0
# export PATH=$PATH:/home/nishii/hadoop-0.21.0/bin


■ 6.1. ssh without passphrase

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

■ 6.2. はどーぽ てすと

bin/hadoop namenode -format
# 初回の設定

./bin/start-dfs.sh
./bin/hadoop dfs -mkdir hoge
./bin/hadoop dfs -ls

./bin/start-mapred.sh
./bin/hadoop jar hadoop-mapred-examples-0.21.0.jar pi 10 100

./bin/stop-mapred.sh
./bin/stop-dfs.sh

■ 6.3. はどーぽがうまく動かないとき、片付け

stop-mapred.sh
stop-dfs.sh
rm -rf ~/hadoop-0.21.0/logs
rm -rf /tmp/hadoop-nishii*

■ 7. その他、必要なもののインストール

# Apache Ant 1.7.0 or greater
sudo aptitude install ant

# Python 2.4.x or greater
python --version
# Python 2.6.5

# Gnuplot 4.2.x or greater
sudo aptitude install gnuplot

■ 8. PEGASUSのインストール、テスト

# http://www.cs.cmu.edu/~pegasus/
cd ~
wget http://www.cs.cmu.edu/%7Epegasus/PEGASUSH-2.0.tar.gz
tar zxvf PEGASUSH-2.0.tar.gz
cd PEGASUS

hadoop namenode -format
# 初回の設定
start-dfs.sh && start-mapred.sh
./pegasus.sh
# demo
# exit
# ~/PEGASUS/catstar_deg_inout.eps に結果が出力されている
stop-mapred.sh && stop-dfs.sh

============================================================
以上、動作テストまで