CodeHolic

[bluewiz]

ProtocolBuffers 2.6.x 사용하기

Objective C 언어로 ProtocolBuffers 2.2.x 를 이용해 만들었던 프로그램을 2.6.x 버전으로 만들며 했던 삽질기 정리

https://github.com/alexeyxo/protobuf-objc 프로젝트 이용

git clone 명령으로 내려받아 Xcode 를 이용해 빌드

기존 프로젝트에 ProtocolBuffers 프로젝트 추가

#import "ProtocolBuffers.h" 형식으로 변경

Message_Builder 등 _Builder 가 붙어있던 클래스 이름을 모두 MessageBuilder 형식으로 변경

"Build Setting" - "Search Paths" - "Header Search Paths" 에 "protobuf-objc/src/runtime" 추가 후 recursive 선택

"Build Phases" - "Target Dependencies" 에 ProtocolBuffers 추가

"Build Phases" - "Link Binary With Libraries" 에 "libProtocolBuffers.a" 추가 (protobuf-objc/src/runtime/Build/Products/Debug 밑에 있음)

[bluewiz]

Telegram-cli 사용법 변경

시스템 백업 후에 telegram-cli 를 이용해 메시지를 남기도록 해뒀는데, 어느 순간부터 아무런 메시지가 없길래 왜 그런지 찾아보았다.

(물론 telegram-cli 자체도 최신 버전으로 다시 빌드)

찾아낸 원인은 "msg" 명령 사용 전에 "contact_list" 명령을 실행해야 한다는 것.

기존에는 "msg [받을 사람] [메시지]" 이렇게 보내는 것으로 충분했는데, 이제는 "contact_list" 를 먼저 실행해서 연락처 목록을 받아와야 한다.

그래서 변경한 명령은 아래와 같다.

$ (echo "contact_list"; sleep 3; echo "msg [수신자] [메시지]"; echo "safe_quit") | telegram-cli -k tg-server.pub -W 아니면 $ (echo "contact_list"; sleep 3; echo "msg [수신자] [메시지]"; sleep 1; echo "quit") | telegram-cli -k tg-server.pub -W

중간에 sleep 3 은 contact list 받아오는 것을 잠시 기다리기 위해 추가.

[bluewiz]

Zookeeper 노드 접근 제어

접근 제어

접근 제어를 하고자 하는 노드를 생성할 때 인증 정보와 권한을 같이 넘겨줌

해당 노드에 접근하려면 addauth 를 이용해 인증 정보 제공

접근 제어 설정

[zk: localhost:2181(CONNECTED) 0] addauth digest zk-user:12341234 [zk: localhost:2181(CONNECTED) 1] create /app/p1 "P1" auth:zk-user:12341234:crdwa Created /app/p1 [zk: localhost:2181(CONNECTED) 2] create /app/p1/v1 "P1:V1" auth:zk-user:12341234:crdwa Created /app/p1/v1 [zk: localhost:2181(CONNECTED) 3] getAcl /app/p1/v1 'digest,'zk-user:LzfOnZbO40R1AwIypLc2nWAXRFo= : cdrwa [zk: localhost:2181(CONNECTED) 4] get /app/p1/v1 "P1:V1" ...

다른 클라이언트에서 접근 제어 확인

[zk: localhost:2181(CONNECTED) 0] get /app/p1/v1 Authentication is not valid : /app/p1/v1 [zk: localhost:2181(CONNECTED) 1] get /app/p1 Authentication is not valid : /app/p1

인증 정보 제공

[zk: localhost:2181(CONNECTED) 2] addauth digest zk-user:password [zk: localhost:2181(CONNECTED) 3] get /app/p1/v1 "P1:V1" ...

[bluewiz]

Telegram CLI 를 파이썬에서 호출해 사용하기

Telegram-cli 를 설치하고 Python 에서 호출해 사용할 수 있게 해주는 다양한 라이브러리들이 있는데, 매우 간단하게 그냥 telegram-cli 를 os.system() 메소드로 직접 호출해 사용한다.

telegram-cli 파일은 /home/user/bin 디렉토리에 있고, tg-server.pub 파일은 /etc 밑에 복사해 두었다.

실제 메소드는 아래와 같다.

def send_msg_to_telegram(username, msg): send_cmd = '(echo "msg %s %s"; echo "safe_quit") | telegram-cli -k /etc/tg-server.pub -W' % ( username, msg) os.system(send_cmd) send_msg_to_telegram('username', 'Message')

-W 옵션은 telegram-cli 실행 후에 'dialog_list' 명령을 보내 대화방 목록을 얻어온 다음에 위 명령을 실행하도록 한다.

-W send dialog_list query and wait for answer before reading input

safe_quit 명령은 모든 전송이 이루어진 이후에 프로그램을 종료하도록 한다.

safe_quit wait for all queries to end then quit

[bluewiz]

CentOS 5 에서 Telegram CLI 사용하기

tg 전체 코드를 clone 받아 저장

$ git clone https://github.com/vysheng/tg.git

빌드할 때 사용할 라이브러리를 추가 (libreadline 을 못찾는 문제 해결)

$ export LDFLAGS="-lncursesw "

libconfig 관련 패키지를 받아 설치

$ sudo rpm -Uvh http://damsl.cs.indiana.edu/yum/centos/5/x86_64/libconfig-1.4.8-1.x86_64.rpm $ sudo rpm -Uvh http://damsl.cs.indiana.edu/yum/centos/5/x86_64/libconfig-devel-1.4.8-1.x86_64.rpm

configure 명령 실행 후 빌드

$ ./configure && make

telegram-cli 파일과 공개키 파일을 적당한 디렉토리에 복사

$ cp ./bin/* ~/bin $ sudo cp tg-server.pub /etc/tg-server.pub

telegram-cli 명령 실행

$ telegram-cli -k /etc/tg-server.pub

Refenences

https://github.com/vysheng/tg/issues/26

https://github.com/vysheng/tg/issues/144

[bluewiz]

Hadoop 2.x 버전 환경 구축 중에 만난 오류

Hadoop 2.4 버전을 받아 압축을 풀고 설정 파일 내용을 채운 후에 시작하려 했으나 아래와 같은 오류 메시지를 출력하면서 더 이상 진행이 되지 않았다.

/opt/hadoop$ sbin/start-all.sh This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh 14/06/17 02:04:21 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Starting namenodes on [OpenJDK 64-Bit Server VM warning: You have loaded library /opt/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now. It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'. localhost] sed: -e expression #1, char 6: unknown option to `s' 64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known OpenJDK: ssh: Could not resolve hostname OpenJDK: Name or service not known warning:: ssh: Could not resolve hostname warning:: Name or service not known have: ssh: Could not resolve hostname have: Name or service not known You: ssh: Could not resolve hostname You: Name or service not known guard.: ssh: Could not resolve hostname guard.: Name or service not known will: ssh: Could not resolve hostname will: Name or service not known try: ssh: Could not resolve hostname try: Name or service not known VM: ssh: Could not resolve hostname VM: Name or service not known have: ssh: Could not resolve hostname have: Name or service not known stack: ssh: Could not resolve hostname stack: Name or service not known might: ssh: Could not resolve hostname might: Name or service not known disabled: ssh: Could not resolve hostname disabled: Name or service not known highly: ssh: Could not resolve hostname highly: Name or service not known the: ssh: Could not resolve hostname the: Name or service not known loaded: ssh: Could not resolve hostname loaded: Name or service not known which: ssh: Could not resolve hostname which: Name or service not known library: ssh: Could not resolve hostname library: Name or service not known ....

Stack Overflow 에서 위 문제에 대한 질문과 답을 찾았다.

http://stackoverflow.com/questions/20144371/hadoop-2-2-0-setup-pseudo-distributed-mode-error-warn-util-nativecodeloader?rq=1

해결 방법은 hadoop-env.sh 파일에 아래 두 줄을 추가하면 된다.

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native export HADOOP_OPTS="${HADOOP_OPTS} -Djava.library.path=$HADOOP_PREFIX/lib"

[bluewiz]

Java split() 메소드 성능 비교

split() 메소드 성능을 비교하는 블로그 글(Guava Splitter vs StringUtils)을 보고 간단한 테스트 프로그램을 작성해 보았다. 아래 프로그램은 String.split(), StringUtils.split(), Guava Splitter.split() 메소드를 이용해 문자열을 공백으로 분리하고 문자열 길이를 확인한다.

import com.google.common.base.Splitter; import org.apache.commons.lang.StringUtils; public class SplitPerformance { public Long[] doPerformanceTest(int repeatCount) { String log = "2013-03-19 10:00:06 10.1.1.60 - - - 10.2.1.213 80 GET " + "/images/400x280.jpg - 200 1 4008054 21400 - 1 " + "HTTP/1.1 image.unknown.net - - - 1 - 1 1 image/jpeg 1342 400 - - 1"; long before, after; before = System.currentTimeMillis(); for (int i = 0; i < repeatCount; ++i) { String[] logList = log.split(" "); for (String aLogList : logList) { int len = aLogList.length(); } } after = System.currentTimeMillis(); long stringSplit = after - before; before = System.currentTimeMillis(); for (int i = 0; i < repeatCount; ++i) { String[] logList = StringUtils.split(log); for (String aLogList : logList) { int len = aLogList.length(); } } after = System.currentTimeMillis(); long stringUtilsSplit = after - before; Splitter splitter = Splitter.on(" "); before = System.currentTimeMillis(); for (int i = 0; i < repeatCount; ++i) { Iterable<String> logIterator = splitter.split(log); for (String aLogList : logIterator) { int len = aLogList.length(); } } after = System.currentTimeMillis(); long guavaSplitterSplit = after - before; return new Long[] { stringSplit, stringUtilsSplit, guavaSplitterSplit }; } public void printResult(int repeatCount, Long[] results) { System.out.println( String.format("%d\t%d\t%d\t%d", repeatCount, results[0], results[1], results[2])); } public static void main(String[] args) { SplitPerformance splitPerformance = new SplitPerformance(); System.out.println("Repeat\tString.split()\tStringUtils.split()\tSplitter.split()"); for (int repeat = 10; repeat <= 10000000; repeat *= 10) { Long[] results = splitPerformance.doPerformanceTest(repeat); splitPerformance.printResult(repeat, results); } } }

실행 결과는 다음과 같다

Repeat String.split() StringUtils.split() Splitter.split() 10 3 7 2 100 13 7 12 1000 64 5 55 10000 128 23 30 100000 208 103 175 1000000 2111 979 2065 10000000 22318 10052 19357

앞에서부터 순서대로 String.split(), StringUtils.split(), Guava Splitter.split() 메소드 실행 결과이며, 실행 시간을 나타내기 때문에 숫자가 작을 수록 좋다.

Splitter.split() 실행 결과가 생각보다 느리게 나왔는데, 아무래도 Iterator 를 이용해 문자열에 접근하기 때문이 아닌가 생각된다.

[bluewiz]

MRUnit 으로 MultipleOutputs 를 사용하는 M/R 테스트 코드 작성하기

MRUnit 1.0.0 버전에서는 MultipleOutputs 를 사용한 M/R 코드를 테스할 수 있는 기능이 제공되지 않는다. 하지만 이와 관련된 이슈 MRUnit-13 를 살펴보면 기능 추가가 완료되었고, 다음 버전(1.1.0)에 추가되어 나올 것이라는 걸 알 수 있다.

하지만, 당장 Unit test 를 작성하고 검증하는데 이용해야 하는 상황이라면 개발 중인 버전을 받아 사용해볼 수 있다.

MRUnit 설치 전 환경 구축

프로젝트 빌드 환경은 Mac OS X 10.9 Mavericks 이며, Maven 2 와 Java 7 을 이용한다.

Maven 2 설치 (Maven 3 으로는 빌드가 되지 않았음)

$ brew install maven2

Java 7 설치

http://www.oracle.com/technetwork/java/javase/downloads/index.html

의존성을 가진 라이브러리 (Maven Repository)

junit 4.10

guava 11.0.2

hadoop-common 2.3.0

hadoop-mapreduce-client-core 2.3.0

powermock-core 1.5.1

powermock-api-mockito 1.5.1

powermock-module-junit4 1.5.1

powermock-module-junit4-common 1.5.1

MRUnit 설치

SOURCE AND GUIDE 페이지 참조.

저장소에서 최신 소스 코드 다운로드

$ git clone http://git-wip-us.apache.org/repos/asf/mrunit.git

Maven 을 이용해 프로젝트 빌드

$ mvn package -Dhadoop.version=2 -Drat.numUnapprovedLic enses=128

빌드에 성공하면 target 디렉토리 밑에서 mrunit-1.2.0-SNAPSHOT-hadoop2.jar 파일을 찾을 수 있다. (버전 정보는 달라질 수 있음)

Unit test 작성

Unit test 를 작성할 때 mrunit/src/test 밑에 있는 코드를 참조한다. (MultipleOutputs 에 대한 테스트는 test/java/org/apache/hadoop/mrunit/mapreduce/TestMultipleOutput.java 참조)

@RunWith(PowerMockRunner.class) @PrepareForTest({MultipleOutputs.class, MyMap.class}) public class TestMyMap { private MapDriver<LongWritable, Text, Text, IntWritable> mapDriver; ... @Test public void testMyMapWithMultipleOutputs() throws Exception { mapDriver = MapDriver.newMapDriver(new MyMap()); mapDriver.withInput(new LongWritable(0), new Text("first")); mapDriver.withMultiOutput("OUT1", new Text("first"), new IntWritable(1)); mapDriver.runTest(); } ... }

@PrepareForTest() 안에 MultipleOutputs 클래스와 테스트하고자 하는 Mapper, Reducer 를 명시해둔다.

withMultiOutput() 메소드를 이용해 MultipleOutputs 로 출력하는 Mapper/Reducer 테스트 코드를 작성한다. 첫 번째 인자에는 NamedOutput 에 사용한 이름을 넘겨주고, 두 번째와 세 번째 인자에는 결과로 예상되는 Key/Value 를 넘겨준다.

[bluewiz]

마르틴 니묄러..."독일에 처음 나치가 등장했을 때..."

처음에 그들은 공산주의자들을 잡아갔습니다.

그러나 나는 침묵하였습니다.

왜냐하면 나는 공산주의자가 아니었기 때문입니다.

그리고 그들은 유태인들을 잡아갔습니다.

그러나 나는 침묵했습니다.

왜냐하면 나는 유태인이 아니었기 때문입니다.

그리고 그 다음엔 노동운동가들을 잡아갔습니다.

나는 이때도 역시 침묵하였습니다.

왜냐하면 나는 노동운동가가 아니었기 때문입니다.

그리고 이제는 카톨릭 교도들을 잡아갔습니다.

그러나 나는 침묵하였습니다.

왜냐하면 나는 기독교인이었기 때문입니다.

그러던 어느 날 그들은 나를 잡으러 왔습니다.

하지만 이미 내 주위에는 나를 위해

이야기해 줄 사람이 아무도 남아 있지 않았습니다.

마틴 니묄러

[bluewiz]

[전문]남북정상회담 대화록 초본 노무현 前 대통령 수정 의견

수고 많았습니다.

읽어보니 내가 기억하지 못하고 있는 일이 생각보다 많다는 느낌입니다.

그리고 NLL 문제는 김정일 위원장도 추후 다루는 것을 동의한 것으로 생각하고 있었는데, 확실하지 않고 오히려 내가 임기 내에 NLL 문제를 해결할 수 있다고 말한 것으로 되어 있습니다. 앞으로 이 문제를 다룰 때 지혜롭게 다루어 주어야 할 것 같습니다.

그 밖의 문제는 다 공개된 대로입니다만 앞으로 해당 분야를 다룰 책임자들은 대화 내용과 분위기를 잘 아는 것이 필요할 것입니다. 그러므로 앞으로 회담을 책임질 총리, 경제부총리, 국방장관 등이 공유해야 할 내용이 많은 것 같습니다 통일부 장관, 국정원장 등은 동석한 사람들이고 이미 가지고 있겠지요? 아니라면 역시 공유해야 할 것입니다.

필요한 내용들을 대화록 그대로 나누어 주어야 할 것 같습니다. 내용뿐만 아니라 분위기도 이해할 필요가 있을 것이니까요.

제공할 사람의 범위, 대화록 전체를 줄 것인지 필요한 부분을 잘라서 줄 것인지, 보안을 어떻게 할 것인지는 안보실이 책임을 지고 판단해 주시기 바랍니다.

이 녹취록은 누가 책임지고 한 자, 한 자 정확하게 다듬고, 녹취록만으로 이해하기 어렵거나 오해가 발생할 가능성이 있는 부분은 각주를 달아서 정확성, 완성도가 높은 대화록으로 정리하여 이지원에 올려 두시기 바랍니다.

62페이지 ‘자위력으로’는 ‘자의적으로’의 오기입니다. 63페이지 상단, ‘남측의 지도자께서도’라는 표현은 이해가 되지 않습니다-그밖에도 정확하지 않거나 모호한 부분이 없는 것은 아니지만 시간도 없고 이 부분만큼 중요하지 않아서 이 부분만 지적해 둡니다.

이 작업에는 수석, 실장 모두 꼼꼼하게 검증과정을 그쳐주시기 바랍니다.

071020 대통령

[bluewiz]

요즘 사용하고 있는 컬러셋

http://ethanschoonover.com/solarized

눈에 편하고 색상도 맘에 들어서 iTerm, IntelliJ, PyCharm 색상을 모두 설정해 사용 중.

[bluewiz]

Mac 에서 Lock 걸린 파일 모두 해제하기

Link: https://discussions.apple.com/thread/1467087

가끔 파일을 복사하다보면, Lock 이 걸린 상태라 파일 이름을 변경할 수 없는 경우가 있다. Finder 에서 일일이 열어서 Lock 을 해제하다가 찾아보았다.

$ sudo chflags -R nouchg /path/to/unlock

[bluewiz]

LogStash 기본 설정 파일

LogStash 설치

$ brew install logstash ...

LogStash 를 테스트할 때 사용한 가장 기본적인 설정 파일. (stdin.conf 에 저장)

input { stdin { } } output { stdout { debug => true } }

실행 후 텍스트를 입력하면 JSON 형태로 출력해 보여준다.

$ logstash agent -f stdin.conf -v Pipeline started {:level=>:info} This is a test message. output received {:event=>#<LogStash::Event:0x7838c8c5 @data={"message"=>"This is a test message.", "@timestamp"=>"2013-09-29T12:22:37.636Z", "@version"=>"1", "host"=>"macbook.local"}, @cancelled=false>, :level=>:info} { "message" => "This is a test message.", "@timestamp" => "2013-09-29T12:22:37.636Z", "@version" => "1", "host" => "macbook.local" }

[bluewiz]

You Need A Budget

Home: http://www.youneedabudget.com

스팀(!)에서 소프트웨어 할인을 하길래 뭔가 했는데, 할인판매를 하는 당일 "Top Sellers" 1위에 올라감. 호기심이 발동해 검색해보고 쓸만하다 싶어서 구매.

화면만 보면 단순하 가계부보다 뭔가 더 있어보이기는 한데, 도대체 어떻게 쓰는건지 궁금했다. 그래서 관련된 내용을 YouTube 에서 검색해보니, 생각보다 많은 강의가 있었고 강의 종류도 매우 다양했다.

강의는 대부분 자산을 바라보는 방향을 어떻게 바꾸어 프로그램을 활용할 것인지에 초점을 맞추어서 설명을 진행한다.

기존 가계부에서 볼 수 없는 특징

기존 가계부와 가장 다른 점은 과거를 바라보는게 아닌 미래를 바라본다는 점이다. 무슨 말이냐면, 대부분 가계부라는 것이 어제 혹은 오늘 지출한 내용을 기록해두고 그 달 마지막 아니면 연말에 돈을 어디에 얼마나 썼는 지를 확인하는데 그 목적을 가지고 있다.

하지만, YNAB 에서는 미리 예산을 잡고 어떤 비용을 얼마나 썼는지에 초점을 맞춘다. 즉, 한달이 시작될 때 그 달에 사용할 예산을 항목별로 미리 잡아두고 돈을 쓸 때마다 해당 항목에서 차감하는 형태로 가계부 항목을 채운다.

미리 할당해둔 예산을 차감하는 형태로 가계부를 기록한다는 것이 다른 가계부와 가장 큰 차이점이며, 이를 통해서 어떤 항목에 속한 비용을 많이 사용하는지 한 눈에 확인할 수 있다.

[bluewiz]

Hadoop CLASSPATH

HDFS 에 접근해 데이터를 읽거나 쓰기 위한 프로그램을 작성 후 실행할 경우, CLASSPATH 를 미리 지정해주어야 한다.

$ export CLASSPATH=...

위와 같이 직접 지정할 수 있지만(사실은 얼마전까지도 이렇게 사용했음..)

$ hadoop classpath

명령어를 이용하면 매우 간편하게 지정할 수 있다. 실제로 사용할 경우에는 다음과 같이 입력한다.

$ java -cp `hadoop classpath':app.jar main.class.path

[bluewiz]

Mavericks DP 6 에서 IntelliJ, PyCharm 등에서 메인 메뉴가 사라졌을때 해결 방법

Link: http://youtrack.jetbrains.com/issue/IDEA-112511

Mavericks DP 6 설치 후에 별 문제 없던 IntelliJ 와 PyCharm 메인메뉴가 사라져서 그냥 단축키로 쓰고 있었는데, 해결 방법은 매우 간단.

http://support.apple.com/kb/DL1572

위에서 Java SE 6 를 새로 받아 설치하고 재부팅하면 된다.

[bluewiz]

ReadKit 에서 발생하는 Feedly 동기화 오류

동기화 문제 없이 잘 동작하던 ReadKit 에서 글을 보고 다음으로 넘어갈 때마다 feedly 에서 잘못된 데이터를 받았다는 오류 메시지를 출력했다.

그냥 feedly 사이트가 잠시 내려갔다거나 트래픽이 너무 많아 그런가했는데, 계속 같은 현상이 일어나길래 왜 그런지 찾아봤다.

결론은 ReadKit 에서 발생한 버그 : http://webinhq.com/blog/quick-fix-for-feedly/

해결 방법은 설정 화면에서 “Sync on start” 를 체크 해제하고, ReadKit 을 재시작해서 Feedly 계정 삭제 후에 다시 추가해주면 된다.

1. turn OFF “Sync on start” on the syncing tab of preferences 2. restart ReadKit 3. open preferences, select the accounts tab and remove your Feedly account from the service list 4. re-add your Feedly account

이걸로 문제 해결.

얼마전 업데이트(2013. 7. 25 일자)에 위 문제점을 수정했다고 한다.