수안이의 컴퓨터 연구실

  • Mainpage
  • About Me
  • Tags
  • Metapage
  • Notice
  • Location
  • Keywords
  • Guestbook
  • Admin
  • Write an Article
  • Total | 1620949
  • Today | 329
  • Yesterday | 482

2 Articles, Search for 'Hadoop'

  1. 2009/09/02 Hadoop 에서 c++ API 이용시 문제점과 해결 방법
  2. 2009/09/02 Ubuntu Linux에서 Hadoop 구축 및 실행
Framework/Hadoop2009/09/02 14:20

Hadoop 에서 c++ API 이용시 문제점과 해결 방법

기본적으로 Hadoop에서 C++ API 예제를 돌려보려면 다음 사이트를 참고하면 된다.

http://wiki.apache.org/hadoop/C++WordCount

이 에제에서 다음과 같은 명령어를 사용한다.

ant -Dcompile.c++=yes examples



만약 ant 명령어 자체에서 에러가 발생하면, ant를 설치해주어야 한다.

sudo apt-get install ant



그 외에 퍼미션부터 시작해서 애러가 연속해서 일어난다.

more..

Buildfile: build.xml

clover.setup:

clover.info:
     [echo]
     [echo]      Clover not found. Code coverage reports disabled.
     [echo]  

clover:

ivy-download:
      [get] Getting: http://repo2.maven.org/maven2/org/apach ··· -rc2.jar
      [get] To: /usr/local/hadoop/ivy/ivy-2.0.0-rc2.jar
      [get] Not modified - so not downloaded

ivy-init-dirs:

ivy-probe-antlib:

ivy-init-antlib:

ivy-init:
[ivy:configure] :: Ivy 2.0.0-rc2 - 20081028224207 :: http://ant.apache.org/ivy/ ::
:: loading settings :: file = /usr/local/hadoop/ivy/ivysettings.xml

ivy-resolve-common:
[ivy:resolve] :: resolving dependencies :: org.apache.hadoop#Hadoop;working@blade01.kangwon.ac.kr
[ivy:resolve]  confs: [common]
[ivy:resolve]  found commons-logging#commons-logging;1.0.4 in maven2
[ivy:resolve]  found log4j#log4j;1.2.15 in maven2
[ivy:resolve]  found commons-httpclient#commons-httpclient;3.0.1 in maven2
[ivy:resolve]  found commons-codec#commons-codec;1.3 in maven2
[ivy:resolve]  found xmlenc#xmlenc;0.52 in maven2
[ivy:resolve]  found net.java.dev.jets3t#jets3t;0.6.1 in maven2
[ivy:resolve]  found commons-net#commons-net;1.4.1 in maven2
[ivy:resolve]  found org.mortbay.jetty#servlet-api-2.5;6.1.14 in maven2
[ivy:resolve]  found oro#oro;2.0.8 in maven2
[ivy:resolve]  found org.mortbay.jetty#jetty;6.1.14 in maven2
[ivy:resolve]  found org.mortbay.jetty#jetty-util;6.1.14 in maven2
[ivy:resolve]  found tomcat#jasper-runtime;5.5.12 in maven2
[ivy:resolve]  found tomcat#jasper-compiler;5.5.12 in maven2
[ivy:resolve]  found commons-el#commons-el;1.0 in maven2
[ivy:resolve]  found junit#junit;3.8.1 in maven2
[ivy:resolve]  found commons-logging#commons-logging-api;1.0.4 in maven2
[ivy:resolve]  found org.slf4j#slf4j-api;1.4.3 in maven2
[ivy:resolve]  found org.eclipse.jdt#core;3.1.1 in maven2
[ivy:resolve]  found org.slf4j#slf4j-log4j12;1.4.3 in maven2
[ivy:resolve] :: resolution report :: resolve 619ms :: artifacts dl 22ms
 ---------------------------------------------------------------------
 |                  |            modules            ||   artifacts   |
 |       conf       | number| search|dwnlded|evicted|| number|dwnlded|
 ---------------------------------------------------------------------
 |      common      |   19  |   0   |   0   |   0   ||   19  |   0   |
 ---------------------------------------------------------------------

ivy-retrieve-common:
[ivy:retrieve] :: retrieving :: org.apache.hadoop#Hadoop
[ivy:retrieve]  confs: [common]
[ivy:retrieve]  0 artifacts copied, 19 already retrieved (0kB/20ms)
No ivy:settings found for the default reference 'ivy.instance'.  A default instance will be used
DEPRECATED: 'ivy.conf.file' is deprecated, use 'ivy.settings.file' instead
:: loading settings :: file = /usr/local/hadoop/ivy/ivysettings.xml

init:
    [touch] Creating /tmp/null736510671
   [delete] Deleting: /tmp/null736510671
     [exec] src/saveVersion.sh: 34: svn: not found
     [exec] src/saveVersion.sh: 34: svn: not found

record-parser:

compile-rcc-compiler:

compile-core-classes:
    [javac] Compiling 1 source file to /usr/local/hadoop/build/classes

compile-mapred-classes:
    [javac] Compiling 1 source file to /usr/local/hadoop/build/classes

compile-hdfs-classes:
    [javac] Compiling 4 source files to /usr/local/hadoop/build/classes

compile-core-native:

check-c++-makefiles:

create-c++-pipes-makefile:

BUILD FAILED
/usr/local/hadoop/build.xml:1414: Execute failed: java.io.IOException: Cannot run program "/usr/local/hadoop/src/c++/pipes/configure" (in directory "/usr/local/hadoop/build/c++-build/Linux-i386-32/pipes"): java.io.IOException: error=13, Permission denied

Total time: 4 seconds



위와 같은 에러가 발생 할 시 다음과 같은 순서로 해결을 하면 된다.

chmod 755 /usr/local/hadoop/src/c++/pipes/configure

chmod 755 /usr/local/hadoop/src/c++/utils/configure

두 명령어를 통해 퍼미션을 해결하였어도, utils 폴더 내에 컴파일 과정에서 에러가 발생한다면,

wget https://issues.apache.org/jira/secure/attachment/12404588/HADOOP-5611-fixed.patch


위 명령어를 통해 패치를 다운로드 한 뒤,

patch -p0 < HADOOP-5611-fixed.patch


위와 같이 패치를 하고, 다음 명령을 다시 한번 시도한다.

ant -Dcompile.c++=yes examples

"Hadoop" 카테고리의 다른 글
  • Hadoop 에서 c++ API 이용시 문제점과 해결 방법 (0)2009/09/02
  • Ubuntu Linux에서 Hadoop 구축 및 실행 (0)2009/09/02
2009/09/02 14:20 2009/09/02 14:20
Posted by webdizen
Tags API, C++Keyword C++, Hadoop
No Trackback No Comment

Trackback URL : http://www.webdizen.net/blog/trackback/3344

Leave your greetings.

[로그인][오픈아이디란?]

Framework/Hadoop2009/09/02 14:02

Ubuntu Linux에서 Hadoop 구축 및 실행

Ubuntu Linux에서 Hadoop을 구성하기 위한 문서

Running Hadoop On Ubuntu Linux (Single-Node Cluster)


Running Hadoop On Ubuntu Linux (Multi-Node Cluster)

"Hadoop" 카테고리의 다른 글
  • Hadoop 에서 c++ API 이용시 문제점과 해결 방법 (0)2009/09/02
  • Ubuntu Linux에서 Hadoop 구축 및 실행 (0)2009/09/02
2009/09/02 14:02 2009/09/02 14:02
Posted by webdizen
Tags Hadoop, Ubuntu
No Trackback No Comment

Trackback URL : http://www.webdizen.net/blog/trackback/3343

Leave your greetings.

[로그인][오픈아이디란?]

«Prev  1  Next»

RSS HanRSS
Blog Image
webdizen
이 곳은 컴퓨터에 대해 연구하고, 공유하고, 소통하기 위한 연구실입니다. 개인적으로는 OLAP, Data Mining, Semantic Web, Data Modeling에 대해서 연구하고 있습니다.

Categories

전체 (2998)
Webdizen (134)
Life (6)
Diary (16)
Blog (9)
IDEA (1)
Travel (10)
Book (14)
Photo (7)
Movie (7)
Music (13)
Leisure Sports (10)
Funny (5)
Hardware (119)
Software (120)
Windows (5)
Unix & Linux (119)
Installation (4)
Kernel (10)
System (34)
Develop (22)
X-Window (0)
Applicaton (31)
Security (4)
Framework (2)
Hadoop (2)
Programming (805)
Algorithm & Data Structure (1)
Assembly (38)
UNIX/Linux C (95)
C++ (128)
STL (4)
Java (38)
Win32 API (92)
ATL/COM (44)
MFC (151)
.NET (26)
WCF/WPF (4)
C# (28)
Network Programming (17)
Database Programming (12)
OpenGL / DirectX (13)
Multimedia Programming (0)
Game Programming (21)
Parallel Distributed Progra... (0)
Reverse Engineering (0)
Debugging (9)
Python (1)
Ruby (1)
Ruby on Rails (1)
QT (4)
GTK (0)
JSP (0)
PHP (6)
ASP.NET (6)
ASP (3)
Development (28)
Useful Library (2)
Data Modeling (0)
Database (105)
Oracle (4)
MSSQL (41)
MySQL (2)
Data Warehouse (2)
Data Mining (3)
Network (66)
Web (78)
DHTML (4)
XHTML (1)
Javascript (1)
CSS (1)
AJAX (9)
XML (11)
Flex (1)
Silverlight (3)
Security (91)
DoS (1)
Kernel (10)
Scanning (3)
Sniffing (0)
Spoofing (4)
Overflow (28)
Web (11)
Shell (10)
Format String (14)
Window (2)
Embedded (70)
Multimedia (27)
Mobile (14)
Graphic (24)
Management (633)
Knowledge (581)
Hadoop (0)

Notice

  • 메타 블로그 사이트에 등록
  • 새해 맞이 블로그의 변화
  • 블로그 명칭 변경
  • 도메인(www.webdizen.net) 구...
  • TEXTCUBE 1.6.1로 업그레이드...

Tags

  • Music
  • egrep
  • 서부여행
  • Messenger
  • PHP
  • 김중태
  • Distributed Queries
  • 다이어트
  • 뉴스리더
  • 성능 모니터
  • 전처리
  • Hardy Heron
  • 형식화된 입출력
  • 보안
  • 보안 결함
  • ESTsoft
  • 블로그플러스
  • XHTML
  • 긍정
  • 우선순위

Recent Articles

  • ASCII Code의 CRLF 제거 방법.
  • Hadoop 에서 c++ API 이용시....
  • Ubuntu Linux에서 Hadoop 구....
  • 내 심장을 한껏 뛰게한 "국가....
  • 스타 스키마 데이터베이스 설....

Recent Comments

  • ■ 온라인카지노 ▶ http://L....
    asdf 11/21
  • 그리고 혹시 해외여행자보험....
    kim 11/05
  • ★★실제 바다게임장과 똑같....
    asdf 11/04
  • sbsyama.co.to← 짱5000만당....
    asdf 11/04
  • ♡KicaZ??o(???) 바카라사....
    fdsf3fass 11/03

Recent Trackbacks

  • 파일 열기/저장하기 CFileDialog.
    은마군의 나태블록 02/11
  • World IT Show 2008.
    상우 :: Oranzie's BLOG 2008
  • cvs서버 설치하기.
    3인3색 2008
  • 속속 공개되는 Google Chart....
    PHP와 Web 2.0 2007
  • 마방진을 구하는 프로그램.
    Oranzie's BLOG 3 2007

Archive

  • 2009/09 (3)
  • 2009/08 (1)
  • 2009/03 (1)
  • 2009/02 (9)
  • 2009/01 (13)

Calendar

«   2009/11   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          

Bookmarks

    • Administration
      • IIS.NET
      • NTFAQ
      • OS의 모든 것
      • 리눅스포털
    • Database
      • SQL Server Central
      • SQL Team
    • Development
      • .NET Heaven
      • ASP Alliance
      • ASP.NET 2.0
      • Bullog.net
      • C# Corner
      • C++ (C PlusPlus.com)
      • C++ Reference
      • CodeGuru
      • CodePlex
      • DebugLab
      • Dev Articles
      • Devpia
      • DotNet Junkies
      • DotNet Zone
      • Driver Online
      • GOSU.NET
      • HOONS 닷넷
      • Joinc 팀블로그
      • KOSR
      • MSDN Home Page
      • OSR Online
      • Sky.ph - 개발자 커뮤니...
      • TAEYO.NET
      • The Code Project
      • WindowsClient.net
      • 김상욱의 개발자 Side
      • 조인시 위키
    • Human Networks
      • belief21c's e-space
      • I think I can
      • Invisible Rover's Blog :D
      • Rodman®
      • ■ Feel So Good~! ■
      • 까만 나비
      • 나를 가꾸는 시간.
      • 나만의 즐거움~~!
      • 단녕
      • 상우 :: Oranzie's BLOG
    • Information Technology
      • Microsoft TechNet
      • 지디넷코리아 - 글로벌...
    • Security
      • FoundStone
      • milw0rm
      • NewOrder
      • OpenRCE
      • Phrack.org
      • Reverse Engineering b1...
      • Reverse Engineering Team
      • RootKit
      • SecurityFocus
      • SecurityXploded by Nag...
      • Wow Hacker
      • Zone-H
Textcube
Louice Studio Inc.
Powered by Textcube. Original designed by Tistory.