поразительная ватка

раз два три

[sbos-blog]

Сегодня я улетаю в Лондон, а уже с завтрашнего дня официально меняю аффилиацию на Google DeepMind. Это очень большая удача, которую вполне можно назвать сбывшейся мечтой. Я очень рад вернуться в эту удивительную команду и с нетерпением жду своего первого рабочего дня. 

Я хочу сказать спасибо своим коллегам из группы Байесовских методов, в которой я работал в течение последних четырех лет, и особенно своему научному руководителю Дмитрию Петровичу Ветрову, чей вклад в мое становление как исследователя трудно переоценить. Я также хочу поблагодарить коллег по Факультету компьютерных наук Высшей школы экономики, где мне повезло приобрести бесценный преподавательский опыт, и надеюсь, что его ждут долгие годы развития и процветания.

У меня есть и еще будет много поводов для приездов в Москву, поэтому мы обязательно с вами еще обязательно увидимся. И, конечно, дайте мне знать, если окажитесь где-нибудь неподалеку :)

Всем привет!

[sbos-blog]

Глубокое обучение: деконструкция мифа

Появилась запись моего выступления на DataFest, который проходил 10 и 11 сентября в московском офисе Яндекса. 

Может показаться странным, что я выступил не с рассказом о недавнем проекте, а с резкой критикой глубокого обучения, то есть, темой, которой я сам активно занимаюсь, равно как и большая чась нашей научной группы. На самом деле, критиковал я, конечно, не само глубокое обучение, а всеобщее помешательство вокруг этой темы. 

Мне несколько жаль людей, которые свое знакомство с машинным обучением начинают с нейросетей. Мне очень жаль предпринимателей и инвесторов, которые которые вынуждены через слово говорить что-нибудь про глубокое обучение (или про блокчейн, но тут я не специалист), а иначе получится, что они лохи. Мне жаль визионеров, которые пыдаются “продать” людям будущее, построенное чужими руками. Короче, мне много кого жаль в связи с этим надувающимся пузырем, и потому захотелось сделать аудитории небольшую прививку. А том, что все классно и нейросети уже давно умнее человека, расскажет много других людей.

[sbos-blog]

Just got perfect aspect category detection on SemEval 2014 restaurant dataset. Yes, on trial data. No, I didn't use train data only as there's only 3044 sentences available.

I used KNN classifier and very special representation of sentences obtained by some secret neural approach. Actually, K was set to 1. 

So it goes.

[sbos-blog]

Обзор работ по непараметрическим методам в машинном обучении

Есть такая неприятная повинность для аспирантов РАН - писать рефераты по истории и философии науки. К счастью, дозволяется (даже требуется), чтобы тема этих рефератов была связана с темой диссера. 

Непонятно зачем вместо того, чтобы написать какую-нибудь бредятину нужного объема с правильными словами, я написал бредятину с неправильными словами, то бишь, вполне нормальный обзор литературы, который можно рекомендовать читать всем, кто хочет начать работать с непараметрическими методами, чтобы понять, что и откуда растет. Написать вообще обо всем меня не хватило, но вроде ничего действительно важного я не пропустил. Кажется, это единственный обзор литературы в данной области на русском.

Знающие люди одобрили и призвали к распространению, так что распространяю.

[sbos-blog]

Setting up GPU cluster instance on Amazon EC2 for a little play with Theano

Hi there! I'm writing this post in English with hope that it would be useful for many people which are just like me getting trouble with their first steps on Amazon GPU instances.

The final goal of this text is to set up everything for playing with Theano. So let's begin.

You should start from launching new amazon ec2 gpu cluster instance. Personally I preffered to choose Ubuntu 11.10 server for cloud instances AMI because I'm more famailiar with Ubuntu then any linux distributive. An important detail is that CUDA currently supports only ubuntu 11.10, so do not choose fresher distributive, otherwise you may get something wrong.

Now do some standard things to update your system:

sudo apt-get update sudo apt-get upgrade sudo apt-get dist-upgrade

Probably you need to reboot after that.

Now install all prequisites for theano:

sudo apt-get install python-dev python-setuptools libblas-dev liblapack3gf-dev gfortran g++

I'm writing this from my memory, so I could make a mistake. Hope you're mature enough to fix everything at this point :)

In order to get mmmaximum perforance you may also download and install GotoBLAS2 library. Probably you will face bug in the makefile. It could be fixed this way.

After that do

sudo easy_install pip pip install ipython nose numpy scipy theano

Yes, we do install them by pip, not by easy_install because not everything is ok in python world and easy_install makes some buggy installations (many thanks to Fred and Pascal from theano mailing list for pointing on that).

Now we should have been reached an important checkpoint. Let's verify that numpy was installed with support of blas, lapack and atlas:

python import numpy.distutils.system_info as sysinfo sysinfo.get_info('atlas') sysinfo.get_info('blas') sysinfo.get_info('lapack')

It's important because otherwise numpy and scipy would be really slow and that means our deep learning may never end.

Hope everything is ok up to now. So you may run theano-test and check your RSS or whatever while theano tests itself. 

Now let's fuck deal with CUDA. Download cuda toolkit 5.0 from nvidia website:

wget http://developer.download.nvidia.com/compute/cuda/5_0/rel-update-1/installers/cuda_5.0.35_linux_64_ubuntu11.10-1.run chmod a+x cuda_5.0.35_linux_64_ubuntu11.10-1.run ./cuda_5.0.35_linux_64_ubuntu11.10-1.run --verbose

Sad news dude, driver installation failed, right? Thanks to "--verbose" option, we know why. So install kernel headers:

sudo apt-get install linux-headers-`uname -r`

This installs headers for exactly your version of kernel as suggested by this thread.

Unfortunately this is not enough to install CUDA samples, because them require libglut

sudo apt-get install freeglut3 freeglut3-dev

Don't know how about you, but personally I'm really tired after that. So let's finish this story with last two things: getting running driver (reboot may be required) and setting up environment variables (don't be scared by previous version of cuda, it's still the same for cuda 5).

Last sanity check is:

cd ~/NVIDIA_CUDA-5.0_Samples/1_Utilities/deviceQuery make ./deviceQuery

It must show that you have two GPUs and so you're very cool. The latter also can be proven by this benchmark:

THEANO_FLAGS=floatX=float32,device=gpu0 python /usr/local/lib/python2.7/dist-packages/theano/misc/check_blas.py

That's all folks! I'll keep posting on playing with theano.

[sbos-blog]

Видео с нашего внутреннего семинара про Latent Dirichlet Allocation. Собственно, не обошлось без легкой кривизны вследствие моей неопытности и волнения, но в комментариях к видео я постарался привести список опечаток. На всякий случай пусть он будет и здесь:

Постоянное повторение фразы "условно независимы при известном z" вместо "независимы при известном z"

На слайде с accuracy не поместился второй график, на котором бинарный классификатор-таки переобучился. Этот слайд взят из оригинальной статьи Blei et. al. 2003

Не совсем внятное объяснение про теорему Де Финетти и симметричную зависимость. Вот более лучшее объяснение: пусть нам известна большая часть слов в документе, и эти слова относятся к теме "футбол". Тогда компонента футбола в тета по значению превышает остальные компоненты и, следовательно, оставшиеся слова в документе вероятнее всего относятся к футболу.

Неправильная картинка с графической моделью (исправлено в слайдах)

Что я могу еще сказать? Я выкладываю это видео в интернет исключительно для студентов, которые только-только начали разбираться со всеми этими байесовскими вещами, откуда-то услышали про LDA, ничего не поняли, испугались и забили. Конечно, никакой это не туториал, тут есть неприятные формулы и вообще обсуждение довольно неприятных вещей. Но на мой взгляд для тех студентов, которые не просто расширяют кругозор, а стремятся понять тему на уровне, достаточном хотя бы для реализации, это как раз то, что нужно. За вычетом ошибок и невнятностей.

Презентацию вместе с теховскими исходниками можно скачать здесь: https://www.sharelatex.com/project/50656f68e22a75b14201ba76

[sbos-blog]

Machine Learning Summer School - Sample from poster sessions

Если вдруг кому-то интересно, то я решил выложить самые интересные на мой сугубо-личный (и это весьма сказывается) взгляд фотографии постеров со всех трех постерных сессий. Пока без комментариев, позже, наверное, они появятся.

Что тут сказать - уровень очень разный, в частности есть в наличии работы, опубликованные на AAAI, так что хотя бы ради интереса посмотреть стоит. Ну и немножечко треша, он бывает не только на конференции Ломоносов.

[sbos-blog]

SIGKDD 2012 - второй день

Несмотря на лень, решил-таки написать про оставшиеся два дня KDD, так как верю в то, что кому-то вроде меня, скажем, год назад, очень бы хотелось, чтобы кто-нибудь такой пост написал. 

Итак, второй день начался с очень классного доклада самого Майкла Джордана (нет, не баскетболиста) про принцип "разделяй и властвуй" в обработке больших данных. Да, стоит заметить, что на конференции царила обстановка легкой истерии вокруг БОЛЬШИХ ДАННЫХ и ГЕТЕРОГЕННЫХ СОЦИАЛЬНЫХ СЕТЕЙ. Тем не менее, доклад Джордана был, возможно, наименее истеричным и наиболее теоритическим среди всех прочих приглашенных. 

Первая часть была про бутстреппинг и проблемы с ним. Проблемы, насколько я понял, заключаются в следующем: раз уж мы работаем с большими данными, то и выборки (сэмплы) основной выборки (датасета) получаются немаленькими, а сгенерировать и обработать таких подвыборок нужно очень много для уверенности в результатах. Для преодоления этих трудностей Джордан с коллегами предложил модель с говорящим названием Bag of Little Bootstraps, которая требует генерации сильно меньших по размеру выборок (сэмплов), считает на них то, что нам нужно, и правильным образом усредняет с доказательствами своей правоты. 

Вторая часть доклада была посвящена задаче по-английски именуемой matrix completion. Это, значить-с, дана матрица, часть её значений известна, а часть неизвестна, и нужно исходя из наблюдаемых значений остальное додумать. Лично мне такая постановка задачи в свое время показалась немного нездоровой, т.к. явно пустые значения можно заполнить абсолютно чем угодно. Но на самом деле, конечно, обычно имеется какая-то априорная информация или же принцип, согласно которому надо дополнять матрицу.

Например, если эта матрица представляет из себя что-то осмысленное, значит, скорее всего у неё низкий ранг. Ну, интуитивно это можно понять так - раз матрица осмысленная, значит имеет структуру, а структура это ейный базис, через который её строчки/столбцы выражаются, а базис обычно невелик. Таким образом, самое тупое, что можно предложить, это заполнить пустые места так, чтобы ранк получившийся матрицы был как можно меньше. Спорно, но для начала сойдет.

(А, ну в качестве приложений же можно упомянуть коллаборативную фильтрацию или предсказание ссылок в графе, если кто еще не догадался.)

Ну и, собственно, вклад Джордана с коллегами заключался в универсальной процедуре (универсальной - в смысле работающей с любым (?) алгоритмом дополнения матриц) по распараллеливанию этого дела, гарантирующей адекватный результат. То есть, разбиваем матрицу на подматрицы, дополняем их независимо, потом совмещаем, если вкрайце. Очевидно, сложность здесь представляет теоритическое обоснование происходящего.

В третьей же части доклада рассказывалось про всякие непараметрические штуки и про dp-means в частности, о котором я уже писал.

Вдохновленный докладом Джордана я далее проследовал на секцию Community Mining, однако мне там совершенно не понравилось. Существует 100500 алгоритмов по поиску сообществ и еще 100500 так или иначе связанных с этим работ, вопрос в том, какие из них действительно проливают свет на то, как устроены эти несчастные социальные графы, или еще что, а изучение свойств чего-то, что мы априорно предположили сообществом, и обмусоливанеи этого всего без четких и ясных приложений, я не интересным не нахожу.

Поэтому оттуда я свалил на рекомендацию и персонализацию. Из того, что хотелось бы отметить, работа "Playlist Prediction via Metric Embedding" про обучение виртуального dj на основе плейлистов, составленных живыми dj'ями. Помимо того, что сама постановка задачи меня очень прикалывает (есть, где применить, если вы понимаете о чем я), все это было еще очень хорошо сделано. 

Тут следует подчеркнуть, что просто порекомендовать какие песни бы еще послушать, и сгенерировать плейлист, это все-таки не одно и то же, что авторы и подчеркивают. Потому как плейлист - это направленный последовательный поток композиций. То есть, важен порядок следствия и последовательность проигрывания. Авторы предложили для этого свою хитрую марковскую модель, поэксперементировали с дополнительными фичами вроде тегов с ласт.фм и т.п. и получили вполне адекватные результаты; ну, если посмотреть на метрическое (?) пространство песен/артистов, которое потом получилось. Так сказать, человеческие ожидания подтвердились.

После я решил быстренько проспать очередное кококо про БОЛЬШИЕ ДАННЫЕ и ГЕТЕРОГЕННЫЕ СОЦИАЛЬНЫЕ СЕТИ, но вместе с ним проспал еще и секцию, на которую хотел сходить, о чем сожалею и проклинаю будильник, который меня и подвел. Тем не менее, для прочтения я рекомендую еще "Discovering Value from Community Activity on Focused Question Answering Sites: A Case Study of Stack Overflow". Удивительно, что люди еще не разорвали на части stackoverflow, который столь любезно открыл свои данные. Сам я весьма заинтересовал в его скорейшем разрывании, так что если кто-то тоже хочет, то давайте вместе его драконить. А вторая статья, которую я даже толком еще и не прочел, "Random Forests for Metric Learning with Implicit Pairwise Position Dependence", но в ней, кажется, сделали то, что я хотел сделать.

До пятницы обязуюсь написать про третий, заключительный день KDD, ибо в пятницу я улетаю на 21-ую летнюю школу по машинному обучению в Киото, и дальше писать буду уже про неё.

[sbos-blog]

SIGKDD 2012 - первый день

Ну, собственно, после дня воркшопов началась основная часть конференции. После т.н. континентального завтрака мы слушали речь основателя и CEO Bauidu, в котором он предлагал присутствующим в зале решить не то 8, не то 10 задач, которые они пока в Bauidu (да и не только) решить не могут. Во-первых, было бы хорошо распознавать текст на изображениях и уметь потом по нему искать, к тому же местный китайский аналог flickr'а поставляет их в таком темпе, что через год картинок в китайских интернетах будет больше чем веб-страниц, а это что-то да означает. Во-вторых, улучшить распознавание речи на смартфонах и вывести его на принципиально новый диалоговый уровень, то бишь, прокачать сири, которого у них в китае и так пока нет.

Далее был рассказ про очень занятную фишку Bauidu как поисковика под названием box computing. Я не то чтобы очень понял, о чем идет речь, но в частности box computing это такой специальный интерфейс, предоставляемый baidu всем желающим (?) для индексирования и последующего поиска предоставленных структурированных данных, грубо говоря, через то же окошко поиска, что и все остальное. Очень круто, я считаю. А вообще же box computing это про встраивание каких бы то ни было данных/приложений вот прямо в baidu, чтобы все утекло в ихнее китайское облако и взаимодействывало с пользователями, будучи не более кастомной "коробкой" на странице с поиском.

Другой интересной задачей (из запомнившихся) было придумать, как же-таки зарабатывать владельцам социальных сетей. Он же, Робин Ли, сам не знает, то ли заставлять платить за подписку, то ли показывать рекламу. Но проблема в том, что люди сидят в соц. сетях с целью поразвлечься, и поэтому реклама им не так интересна, как тем, кто ищет в гугле. Я читал похожих проблемах СУПа после покупки ЖЖ, так что вполне возможно.

Далее я сходил на секцию по вероятностным моделям. Из запомнившихся докладов для себя отметил "Multi-View Clustering Using Mixture Models in Subspace Projections". Идея этой работы для меня очень близка и полезна: пусть у нас есть многомерные данные, которые могут при проекции на разные подмножества измерений, давать разные и потенциальные осмысленные разбиения, тогда хорошо бы научиться разделять интересные подпространства от неинтересных и зашумленных. 

Остальные работы были все дружно про LDA, где-то про очередной агрейженный inference, где-то про более наличествующий учет контекста документов (типа, статья + авторы, если речь идет о научных статьях), где-то про вычисление вероятности перехода от одного топика к другому в твиттере. 

Касательно Practical Collapsed Variational Bayes Inference for Hierarchical Dirichlet Process я мало чего понял, т.к. для меня все это пока еще ну не то чтобы темный лес, но и не ясная поляна, надо бы на месяцок как-нибудь плотно во все это закопаться. У них там какой-то свой кружок, где все соревнуется, кто точнее, кто быстрее.

Учет контекста же, по мнению авторов The Contextual Focused Topic Model, нужен для того, чтобы получить более сфокусированные топики у документов. То есть, нам не нужны документы обо всем по-немножку, нам нужны жирные вероятности у нормальных топиков и околонулевые у остальных. Справедливо, товарищи. 

Паренек же с твиттером (TM-LDA: Efficient Online Modeling of Latent Topic Transitions in Social Media) наглядно показал в своих полугодовых экспериментах всякие там забавные вещи, что люди когда видят аварию сначала пишут, какой ужас, а потом ругают правительство, ну или что по праздникам люди в основном про одно и то же пишут и т.д.

Далее же я ходил на секции про матрицы, т.к. остальное показось мне либо неинтересным, либо печальным кококо. Презентации про матрицы оказались очень ядреными, я не все везде понимал. Но, в частности, благодаря GigaTensor: Scaling Tensor Analysis Up By 100 Times - Algorithms and Discoveries я узнал об аналоге SVD для тензоров, а также из статьи Fast Bregman Divergence NMF using Taylor Expansion and Coordinate Descent про то, что Bregman Divergence это общий случай очень много чего, например, нормы Фробениуса и KL-дивергенции. Статья Active Learning for Online Bayesian Matrix Factorization также показалась мне очень интересной, она была про то, как делать разложение матрицы в олнайне, не имея возможности обозревать всю матрицу, в данном случае для задачи коллаборативной фильтрации через факторный анализ. В статье очень многое умешано, мне определенно следует её почитать по-подробнее. Из того, что запомнилось - для определения следующего куска обозреваемой информации предлагалось выбирать кусок, котоырй будет наиболее информативен относительно неизвестных пока данных в терминах mutual information,а это функция, значить-с, субмодулярная, поэтому согласно известному прикольному факту можно жадным алгоритмом её максимизировать с $(1-1/e)$-точностью.

[sbos-blog]

SIGKDD 2012 - Немного про воркшоп по социальным сетям

После адового перелета Барселона-Москва-Пекин и 4 часов сна на двое суток я чувствую себя несколько не в себе и не в штанах. Так что я несколько замешкался и пропустил часть докладов на своем воршкопе по анализу социальных сетей.

Сегодня вообще день воркшопов и туториалов. И, если честно, туториалы круче воркшопов, и не пошел я на них только потому что решил, что это будет непатриотично по отношению к собственному воркшопу, но судя по всему напрасно. Очень хотелось послушать про матричные и тензорные разложения, но теперь придется ждать, пока это все появится на videolectures.net.

На нашем же воркшопе из того, что я слышал, меня вштырил только один пока доклад, содержащий в соавторах небезызвестного Лесковца (теперь, когда в dute free я натыкаюсь на виски Jure, я сразу вспоминаю Лесковца). Помимо зайчаток очередного многообещающего алгоритма поиска сообществ, двумя стенфордскими товарищами был обнародован факт, что сообщества пересекаются плотно, а не разреженно, и что вероятность быть друзьями, имея k общих сообществ, очень быстро растет вместе с k.

Любопытно, что в качестве ground truth они брали сообщества в ЖЖ. Лично я пока не понял, хорошо ли так жить, ведь в эти сообщества люди вступают исключительно по интересам, а не с целью продолжить оффлайн-знакомство в интернете. Наверное, все-таки нехорошо.

Еще было два приглашенных доклада, кстати, довольно интересных. Первый делал дядя из местного Microsoft Research, рассказывал о своем видении БУДУЩЕГО СОЦИАЛЬНЫХ СЕТЕЙ, заключаюгося во всеобщем entity resolution, чтобы был один большой социальный граф, в котором оседала бы информация из всех остальных. (Что весьма кореллирует с нашей работой) Показывал демку какого-то из под-сервисов bing'а, где можно ответив на 20 вопросов найти нужного человека. Еще поднимал острую (наверное, исключительно для меня) тему - о недостаточности, например, одного только машинного обучения и одного только экспертного знания и необходимости объединения их вместе, а именно чтобы у нас был сплошной краудсорсинг, где толпа бы помогала дата майнингу, а он толпе (типа, симбиоз человека и машины), и всем было бы счастье. Как это было связано со всем прочим, я не очень понял, потмоу что как был того-с.

Второй доклад делал Кристос Фалустос, веселый и быстроговорящий на испанском английском дядя, поедающий собак по теме распространения информации и влияния в сетях. Кристос и его чудесные студенты с аспирантами брали различные модели, которые нам преподносили через эпидемиологические либо маркетинговые метафоры, и смотрели, при каких параметрах все погибают, а при каких нет. Параметрами могут быть вероятность чихнуть, вероятность заразиться, вылечиться, заболеть повторно и т.д. Оказалось, что для любого графа существует предельный набор параметров, грубо говоря, до достижения которого сообщество выживает, а после случается фазовый переход и все дохнут. Ну и был предложен соответствующий коэффициент, определяющий эту критическую точку, который считается по параметрам вируса и, внезапно, по наибольшему собственному значению матрицы смежности. В который раз убеждаюсь, что собственные значения это чуть ли не САМАЯ СУТЬ всего сущего.

На постерной сессии порадовал парень, который представлял свою довольно примитивную работу (тоже о поиске сообществ, но уже типа по интересам пользователей), где все было примитивно и печально, сам он это очень хорошо понимал и представлял, но знал при этом, куда LDA можно впихнуть, куда индийский буффет и т.д. Чего ж сразу не впихнул, интересно.

Я же лично выступил довольно так себе, наверное, сказалась дикая психологическая усталость от нашей работы и дикая физическая усталость от перелетов, почему-то всюду забывал подчеркивать удивительное и вместо этого объяснял и без того понятное. Радует, что эту нашу статью пригласили в специальный выпуск ACM TIST по социальным сетям, будет у меня теперь журнальная статья, но не очень радует то, что снова надо будет во все это погружаться.

Особо ни с кем почему-то не пообщался, только с одним уже почти экс-ассистентом с мехмата, который переезжает в Эмираты с женой. На обед давали много всего, но мясо (главное для меня) было каким-то невнятным, а в качестве напитков была только вода, кола и спрайт. Вроде как все.

Вывод как всегда очень простой - учиться-учиться-учиться и лечить нервную систему.

[sbos-blog]

dp-means - k-means с неизвестным числом кластеров

Есть такая проблема с очень попуялрным алгоритмом k-means - требуется знать заранее число кластеров. Об это много копий сломано, но вот на ICML приняли статью, в которой "переизобрели" алгоритм, названный dp-means (от dirichet process, видимо). Суть сего алгоритма формулируется в одном предложении: делаем обычные итерации как в k-means, но если минимальное расстояние от очередного объекта до кластеров превышает некоторый порог $\lambda$ (это я MathJax в тумблер прикрутил и решил попробовать), то выделить ему новый кластер.

Далее это все дело обосновывается, обобщается и т.д., но сам алгоритм невероятно прост, до него и так, думаю, многие додумывались. 

[sbos-blog]

Аня подарила муравьиную матку (Taken with instagram)

[sbos-blog]

[sbos-blog]

Running HBase on new Ubuntu 11.04

If you're experiencing problems running hbase 0.90.2 on new ubuntu like me

Tue May 17 18:30:23 MSD 2011 Starting master on malta ulimit -n 1024 2011-05-17 18:30:24,161 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:zookeeper.version=3.3.2-1031432, built on 11/05/2010 05:32 GMT 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:host.name=malta 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.version=1.6.0_24 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.vendor=Sun Microsystems Inc. 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.home=/usr/lib/jvm/java-6-sun-1.6.0.24/jre 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.class.path=/home/sbos/Downloads/hbase-0.90.2/bin/../conf:/usr/lib/jvm/java-6-sun/lib/tools.jar:/home/sbos/Downloads/hbase-0.90.2/bin/..:/home/sbos/Downloads/hbase-0.90.2/bin/../hbase-0.90.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../hbase-0.90.2-tests.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/activation-1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/asm-3.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/avro-1.3.3.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-cli-1.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-codec-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-el-1.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-httpclient-3.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-lang-2.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-logging-1.1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-net-1.4.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/core-3.1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/guava-r06.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/hadoop-core-0.20-append-r1056497.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/hbase-0.90.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-core-asl-1.5.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-jaxrs-1.5.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-mapper-asl-1.4.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-xc-1.5.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jasper-compiler-5.5.23.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jasper-runtime-5.5.23.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jaxb-api-2.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jaxb-impl-2.1.12.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jersey-core-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jersey-json-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jersey-server-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jettison-1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jetty-6.1.26.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jetty-util-6.1.26.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jruby-complete-1.6.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jsp-2.1-6.1.14.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jsp-api-2.1-6.1.14.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jsr311-api-1.1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/log4j-1.2.16.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/protobuf-java-2.3.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/servlet-api-2.5-6.1.14.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/slf4j-api-1.5.8.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/slf4j-log4j12-1.5.8.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/stax-api-1.0.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/thrift-0.2.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/xmlenc-0.52.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/zookeeper-3.3.2.jar 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.library.path=/usr/lib/jvm/java-6-sun-1.6.0.24/jre/lib/amd64/server:/usr/lib/jvm/java-6-sun-1.6.0.24/jre/lib/amd64:/usr/lib/jvm/java-6-sun-1.6.0.24/jre/../lib/amd64:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.io.tmpdir=/tmp 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:java.compiler= 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:os.name=Linux 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:os.arch=amd64 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:os.version=2.6.38-8-generic 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:user.name=sbos 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:user.home=/home/sbos 2011-05-17 18:30:24,162 INFO org.apache.zookeeper.server.ZooKeeperServer: Server environment:user.dir=/home/sbos/Downloads/hbase-0.90.2 2011-05-17 18:30:24,175 INFO org.apache.zookeeper.server.ZooKeeperServer: Created server with tickTime 2000 minSessionTimeout 4000 maxSessionTimeout 40000 datadir /tmp/hbase-sbos/zookeeper/zookeeper/version-2 snapdir /tmp/hbase-sbos/zookeeper/zookeeper/version-2 2011-05-17 18:30:24,193 INFO org.apache.zookeeper.server.NIOServerCnxn: binding to port 0.0.0.0/0.0.0.0:2181 2011-05-17 18:30:24,197 INFO org.apache.zookeeper.server.persistence.FileTxnSnapLog: Snapshotting: 0 2011-05-17 18:30:24,259 INFO org.apache.zookeeper.server.NIOServerCnxn: Accepted socket connection from /127.0.0.1:35777 2011-05-17 18:30:24,261 INFO org.apache.zookeeper.server.NIOServerCnxn: Processing stat command from /127.0.0.1:35777 2011-05-17 18:30:24,269 INFO org.apache.zookeeper.server.NIOServerCnxn: Stat command output 2011-05-17 18:30:24,270 INFO org.apache.hadoop.hbase.zookeeper.MiniZooKeeperCluster: Started MiniZK Server on client port: 2181 2011-05-17 18:30:24,279 INFO org.apache.zookeeper.server.NIOServerCnxn: Closed socket connection for client /127.0.0.1:35777 (no session established for client) 2011-05-17 18:30:24,307 INFO org.apache.hadoop.hbase.ipc.HBaseRpcMetrics: Initializing RPC Metrics with hostName=HMasterCommandLine$LocalHMaster, port=32910 2011-05-17 18:30:24,327 INFO org.apache.hadoop.hbase.security.User: Skipping login, not running on secure Hadoop 2011-05-17 18:30:24,337 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server Responder: starting 2011-05-17 18:30:24,338 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 32910: starting 2011-05-17 18:30:24,339 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 0 on 32910: starting 2011-05-17 18:30:24,339 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 32910: starting 2011-05-17 18:30:24,349 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 2 on 32910: starting 2011-05-17 18:30:24,357 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 4 on 32910: starting 2011-05-17 18:30:24,357 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 32910: starting 2011-05-17 18:30:24,357 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 32910: starting 2011-05-17 18:30:24,357 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 7 on 32910: starting 2011-05-17 18:30:24,357 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 8 on 32910: starting 2011-05-17 18:30:24,359 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 3 on 32910: starting 2011-05-17 18:30:24,359 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 9 on 32910: starting 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:zookeeper.version=3.3.2-1031432, built on 11/05/2010 05:32 GMT 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:host.name=malta 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.version=1.6.0_24 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.vendor=Sun Microsystems Inc. 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.home=/usr/lib/jvm/java-6-sun-1.6.0.24/jre 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.class.path=/home/sbos/Downloads/hbase-0.90.2/bin/../conf:/usr/lib/jvm/java-6-sun/lib/tools.jar:/home/sbos/Downloads/hbase-0.90.2/bin/..:/home/sbos/Downloads/hbase-0.90.2/bin/../hbase-0.90.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../hbase-0.90.2-tests.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/activation-1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/asm-3.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/avro-1.3.3.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-cli-1.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-codec-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-el-1.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-httpclient-3.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-lang-2.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-logging-1.1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/commons-net-1.4.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/core-3.1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/guava-r06.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/hadoop-core-0.20-append-r1056497.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/hbase-0.90.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-core-asl-1.5.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-jaxrs-1.5.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-mapper-asl-1.4.2.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jackson-xc-1.5.5.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jasper-compiler-5.5.23.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jasper-runtime-5.5.23.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jaxb-api-2.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jaxb-impl-2.1.12.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jersey-core-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jersey-json-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jersey-server-1.4.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jettison-1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jetty-6.1.26.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jetty-util-6.1.26.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jruby-complete-1.6.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jsp-2.1-6.1.14.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jsp-api-2.1-6.1.14.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/jsr311-api-1.1.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/log4j-1.2.16.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/protobuf-java-2.3.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/servlet-api-2.5-6.1.14.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/slf4j-api-1.5.8.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/slf4j-log4j12-1.5.8.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/stax-api-1.0.1.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/thrift-0.2.0.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/xmlenc-0.52.jar:/home/sbos/Downloads/hbase-0.90.2/bin/../lib/zookeeper-3.3.2.jar 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.library.path=/usr/lib/jvm/java-6-sun-1.6.0.24/jre/lib/amd64/server:/usr/lib/jvm/java-6-sun-1.6.0.24/jre/lib/amd64:/usr/lib/jvm/java-6-sun-1.6.0.24/jre/../lib/amd64:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.io.tmpdir=/tmp 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:java.compiler= 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:os.name=Linux 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:os.arch=amd64 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:os.version=2.6.38-8-generic 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:user.name=sbos 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:user.home=/home/sbos 2011-05-17 18:30:24,369 INFO org.apache.zookeeper.ZooKeeper: Client environment:user.dir=/home/sbos/Downloads/hbase-0.90.2 2011-05-17 18:30:24,370 INFO org.apache.zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=master:32910 2011-05-17 18:30:24,377 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181 2011-05-17 18:30:24,377 INFO org.apache.zookeeper.server.NIOServerCnxn: Accepted socket connection from /127.0.0.1:35778 2011-05-17 18:30:24,378 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 2011-05-17 18:30:24,382 INFO org.apache.zookeeper.server.NIOServerCnxn: Client attempting to establish new session at /127.0.0.1:35778 2011-05-17 18:30:24,383 INFO org.apache.zookeeper.server.persistence.FileTxnLog: Creating new log file: log.1 2011-05-17 18:30:24,431 INFO org.apache.zookeeper.server.NIOServerCnxn: Established session 0x12ffe5d64cb0000 with negotiated timeout 40000 for client /127.0.0.1:35778 2011-05-17 18:30:24,431 INFO org.apache.zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x12ffe5d64cb0000, negotiated timeout = 40000 2011-05-17 18:30:24,477 INFO org.apache.hadoop.metrics.jvm.JvmMetrics: Initializing JVM Metrics with processName=Master, sessionId=malta:32910 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: revision 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsUser 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsDate 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsUrl 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: date 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsRevision 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: user 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: hdfsVersion 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: url 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: MetricsString added: version 2 011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: new MBeanInfo 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.metrics: new MBeanInfo 2011-05-17 18:30:24,483 INFO org.apache.hadoop.hbase.master.metrics.MasterMetrics: Initialized 2011-05-17 18:30:24,500 INFO org.apache.zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection 2011-05-17 18:30:24,501 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181 2011-05-17 18:30:24,501 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 2011-05-17 18:30:24,501 INFO org.apache.zookeeper.server.NIOServerCnxn: Accepted socket connection from /127.0.0.1:35779 2011-05-17 18:30:24,501 INFO org.apache.zookeeper.server.NIOServerCnxn: Client attempting to establish new session at /127.0.0.1:35779 2011-05-17 18:30:24,508 INFO org.apache.zookeeper.server.NIOServerCnxn: Established session 0x12ffe5d64cb0001 with negotiated timeout 40000 for client /127.0.0.1:35779 2011-05-17 18:30:24,509 INFO org.apache.zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x12ffe5d64cb0001, negotiated timeout = 40000 2011-05-17 18:30:24,510 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0001 type:create cxid:0x1 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase Error:KeeperErrorCode = NodeExists for /hbase 2011-05-17 18:30:24,517 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0001 type:create cxid:0x2 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/unassigned Error:KeeperErrorCode = NodeExists for /hbase/unassigned 2011-05-17 18:30:24,525 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0001 type:create cxid:0x3 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/rs Error:KeeperErrorCode = NodeExists for /hbase/rs 2011-05-17 18:30:24,533 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0001 type:create cxid:0x4 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/table Error:KeeperErrorCode = NodeExists for /hbase/table 2011-05-17 18:30:24,548 INFO org.apache.hadoop.hbase.ipc.HBaseRpcMetrics: Initializing RPC Metrics with hostName=HRegionServer, port=57656 2011-05-17 18:30:24,560 INFO org.apache.hadoop.hbase.security.User: Skipping login, not running on secure Hadoop 2011-05-17 18:30:24,562 INFO org.apache.zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=regionserver:57656 2011-05-17 18:30:24,563 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181 2011-05-17 18:30:24,563 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 2011-05-17 18:30:24,563 INFO org.apache.zookeeper.server.NIOServerCnxn: Accepted socket connection from /127.0.0.1:35780 2011-05-17 18:30:24,563 INFO org.apache.zookeeper.server.NIOServerCnxn: Client attempting to establish new session at /127.0.0.1:35780 2011-05-17 18:30:24,568 INFO org.apache.hadoop.hbase.master.ActiveMasterManager: Master=malta:32910 2011-05-17 18:30:24,575 INFO org.apache.zookeeper.server.NIOServerCnxn: Established session 0x12ffe5d64cb0002 with negotiated timeout 40000 for client /127.0.0.1:35780 2011-05-17 18:30:24,576 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0002 type:create cxid:0x1 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase Error:KeeperErrorCode = NodeExists for /hbase 2011-05-17 18:30:24,576 INFO org.apache.zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x12ffe5d64cb0002, negotiated timeout = 40000 2011-05-17 18:30:24,584 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0002 type:create cxid:0x2 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/unassigned Error:KeeperErrorCode = NodeExists for /hbase/unassigned 2011-05-17 18:30:24,592 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0002 type:create cxid:0x3 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/rs Error:KeeperErrorCode = NodeExists for /hbase/rs 2011-05-17 18:30:24,602 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0002 type:create cxid:0x4 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/table Error:KeeperErrorCode = NodeExists for /hbase/table 2011-05-17 18:30:24,680 INFO org.apache.zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=180000 watcher=hconnection 2011-05-17 18:30:24,680 INFO org.apache.zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181 2011-05-17 18:30:24,681 INFO org.apache.zookeeper.server.NIOServerCnxn: Accepted socket connection from /127.0.0.1:35781 2011-05-17 18:30:24,681 INFO org.apache.zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session 2 011-05-17 18:30:24,681 INFO org.apache.zookeeper.server.NIOServerCnxn: Client attempting to establish new session at /127.0.0.1:35781 2011-05-17 18:30:24,692 INFO org.apache.zookeeper.server.NIOServerCnxn: Established session 0x12ffe5d64cb0003 with negotiated timeout 40000 for client /127.0.0.1:35781 2011-05-17 18:30:24,692 INFO org.apache.zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x12ffe5d64cb0003, negotiated timeout = 40000 2011-05-17 18:30:24,692 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0003 type:create cxid:0x1 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase Error:KeeperErrorCode = NodeExists for /hbase 2011-05-17 18:30:24,700 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0003 type:create cxid:0x2 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/unassigned Error:KeeperErrorCode = NodeExists for /hbase/unassigned 2011-05-17 18:30:24,708 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0003 type:create cxid:0x3 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/rs Error:KeeperErrorCode = NodeExists for /hbase/rs 2011-05-17 18:30:24,717 INFO org.apache.zookeeper.server.PrepRequestProcessor: Got user-level KeeperException when processing sessionid:0x12ffe5d64cb0003 type:create cxid:0x4 zxid:0xfffffffffffffffe txntype:unknown reqpath:n/a Error Path:/hbase/table Error:KeeperErrorCode = NodeExists for /hbase/table 2011-05-17 18:30:24,733 DEBUG org.apache.hadoop.hbase.catalog.CatalogTracker: Starting catalog tracker org.apache.hadoop.hbase.catalog.CatalogTracker@18330bf 2011-05-17 18:30:24,769 INFO org.apache.hadoop.hbase.master.HMaster: Server active/primary master; malta:32910, sessionid=0x12ffe5d64cb0000, cluster-up flag was=false 2011-05-17 18:30:24,770 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=MASTER_OPEN_REGION-malta:32910, corePoolSize=5, maxPoolSize=5 2011-05-17 18:30:24,770 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=MASTER_CLOSE_REGION-malta:32910, corePoolSize=5, maxPoolSize=5 2011-05-17 18:30:24,771 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=MASTER_SERVER_OPERATIONS-malta:32910, corePoolSize=3, maxPoolSize=3 2011-05-17 18:30:24,771 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=MASTER_META_SERVER_OPERATIONS-malta:32910, corePoolSize=5, maxPoolSize=5 2011-05-17 18:30:24,771 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=MASTER_TABLE_OPERATIONS-malta:32910, corePoolSize=1, maxPoolSize=1 2011-05-17 18:30:24,772 DEBUG org.apache.hadoop.hbase.master.LogCleaner: Add log cleaner in chain: org.apache.hadoop.hbase.master.TimeToLiveLogCleaner 2011-05-17 18:30:24,849 DEBUG org.apache.hadoop.hbase.catalog.CatalogTracker: Starting catalog tracker org.apache.hadoop.hbase.catalog.CatalogTracker@24988707 2011-05-17 18:30:24,852 INFO org.apache.hadoop.hbase.regionserver.MemStoreFlusher: globalMemStoreLimit=398.4m, globalMemStoreLimitLowMark=348.6m, maxHeap=995.9m 2011-05-17 18:30:24,854 DEBUG org.apache.hadoop.hbase.regionserver.PriorityCompactionQueue: Create PriorityCompactionQueue 2011-05-17 18:30:24,854 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Runs every 10000000ms 2011-05-17 18:30:24,933 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Attempting connect to Master server at malta:32910 2011-05-17 18:30:24,990 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog 2011-05-17 18:30:25,038 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Master isn't available yet, retrying 2011-05-17 18:30:25,055 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 60010 2011-05-17 18:30:25,056 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 60010 webServer.getConnectors()[0].getLocalPort() returned 60010 2011-05-17 18:30:25,056 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 60010 2011-05-17 18:30:25,056 INFO org.mortbay.log: jetty-6.1.26 2011-05-17 18:30:25,440 INFO org.mortbay.log: Started [email protected]:60010 2011-05-17 18:30:25,440 DEBUG org.apache.hadoop.hbase.master.HMaster: Started service threads 2011-05-17 18:30:26,941 INFO org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) to checkin 2011-05-17 18:30:28,038 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Attempting connect to Master server at malta:32910 2011-05-17 18:30:28,039 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Connected to master at malta:32910 2011-05-17 18:30:28,047 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Telling master at malta:32910 that we are up 2011-05-17 18:30:28,048 INFO org.apache.hadoop.hbase.master.ServerManager: Registering server=localhost,57656,1305642624559, regionCount=0, userLoad=false 2011-05-17 18:30:28,053 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Master passed us address to use. Was=malta:57656, Now=localhost:57656 2011-05-17 18:30:28,053 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer: Config from master: fs.default.name=file:/// 2011-05-17 18:30:28,053 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer: Config from master: hbase.rootdir=file:///tmp/hbase-sbos/hbase 2011-05-17 18:30:28,055 DEBUG org.apache.hadoop.hbase.regionserver.HRegionServer: logdir=file:/tmp/hbase-sbos/hbase/.logs/localhost,57656,1305642624559 2011-05-17 18:30:28,057 INFO org.apache.hadoop.hbase.regionserver.wal.HLog: HLog configuration: blocksize=32 MB, rollsize=30.4 MB, enabled=true, flushlogentries=1, optionallogflushinternal=1000ms 2011-05-17 18:30:28,140 INFO org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogWriter: syncFs -- HDFS-200 -- not available, dfs.support.append=false 2011-05-17 18:30:28,140 INFO org.apache.hadoop.hbase.regionserver.wal.HLog: New hlog /tmp/hbase-sbos/hbase/.logs/localhost,57656,1305642624559/localhost%3A57656.1305642628057 2011-05-17 18:30:28,140 INFO org.apache.hadoop.hbase.regionserver.wal.HLog: getNumCurrentReplicas--HDFS-826 not available; hdfs_out=org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSOutputSummer@60a415a3, exception=org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSOutputSummer.getNumCurrentReplicas() 2011-05-17 18:30:28,144 INFO org.apache.hadoop.metrics.jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=RegionServer, sessionId=RegionServer:0;malta,57656,1305642624559 - already initialized 2011-05-17 18:30:28,145 INFO org.apache.hadoop.hbase.metrics: new MBeanInfo 2011-05-17 18:30:28,145 INFO org.apache.hadoop.hbase.regionserver.metrics.RegionServerMetrics: Initialized 2011-05-17 18:30:28,147 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=RS_OPEN_REGION-localhost,57656,1305642624559, corePoolSize=3, maxPoolSize=3 2011-05-17 18:30:28,147 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=RS_OPEN_ROOT-localhost,57656,1305642624559, corePoolSize=1, maxPoolSize=1 2011-05-17 18:30:28,147 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=RS_OPEN_META-localhost,57656,1305642624559, corePoolSize=1, maxPoolSize=1 2011-05-17 18:30:28,147 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=RS_CLOSE_REGION-localhost,57656,1305642624559, corePoolSize=3, maxPoolSize=3 2011-05-17 18:30:28,147 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=RS_CLOSE_ROOT-localhost,57656,1305642624559, corePoolSize=1, maxPoolSize=1 2011-05-17 18:30:28,147 DEBUG org.apache.hadoop.hbase.executor.ExecutorService: Starting executor service name=RS_CLOSE_META-localhost,57656,1305642624559, corePoolSize=1, maxPoolSize=1 2011-05-17 18:30:28,168 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 60030 2011-05-17 18:30:28,168 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 60030 webServer.getConnectors()[0].getLocalPort() returned 60030 2011-05-17 18:30:28,168 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 60030 2011-05-17 18:30:28,168 INFO org.mortbay.log: jetty-6.1.26 2011-05-17 18:30:28,268 INFO org.mortbay.log: Started [email protected]:60030 2011-05-17 18:30:28,303 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server Responder: starting 2011-05-17 18:30:28,303 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server listener on 57656: starting 2011-05-17 18:30:28,314 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 0 on 57656: starting 2011-05-17 18:30:28,319 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 1 on 57656: starting 2011-05-17 18:30:28,325 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 3 on 57656: starting 2011-05-17 18:30:28,325 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 2 on 57656: starting 2011-05-17 18:30:28,348 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 4 on 57656: starting 2011-05-17 18:30:28,349 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 6 on 57656: starting 2011-05-17 18:30:28,349 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 5 on 57656: starting 2011-05-17 18:30:28,359 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 8 on 57656: starting 2011-05-17 18:30:28,369 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 9 on 57656: starting 2011-05-17 18:30:28,379 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 0 on 57656: starting 2011-05-17 18:30:28,389 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 1 on 57656: starting 2011-05-17 18:30:28,399 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 2 on 57656: starting 2011-05-17 18:30:28,404 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 3 on 57656: starting 2011-05-17 18:30:28,419 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 4 on 57656: starting 2011-05-17 18:30:28,429 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 5 on 57656: starting 2011-05-17 18:30:28,430 INFO org.apache.hadoop.ipc.HBaseServer: IPC Server handler 7 on 57656: starting 2011-05-17 18:30:28,431 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 6 on 57656: starting 2011-05-17 18:30:28,439 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 7 on 57656: starting 2011-05-17 18:30:28,439 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 8 on 57656: starting 2011-05-17 18:30:28,439 INFO org.apache.hadoop.hbase.regionserver.HRegionServer: Serving as localhost,57656,1305642624559, RPC listening on /127.0.1.1:57656, sessionid=0x12ffe5d64cb0002 2011-05-17 18:30:28,441 INFO org.apache.hadoop.hbase.master.ServerManager: Waiting on regionserver(s) count to settle; currently=1 2011-05-17 18:30:28,442 INFO org.apache.hadoop.hbase.regionserver.StoreFile: Allocating LruBlockCache with maximum size 199.2m 2011-05-17 18:30:28,453 INFO org.apache.hadoop.ipc.HBaseServer: PRI IPC Server handler 9 on 57656: starting 2011-05-17 18:30:29,941 INFO org.apache.hadoop.hbase.master.ServerManager: Finished waiting for regionserver count to settle; count=1, sleptFor=4500 2011-05-17 18:30:29,942 INFO org.apache.hadoop.hbase.master.ServerManager: Exiting wait on regionserver(s) to checkin; count=1, stopped=false, count of regions out on cluster=0 2011-05-17 18:30:29,942 INFO org.apache.hadoop.hbase.master.MasterFileSystem: Log folder file:/tmp/hbase-sbos/hbase/.logs/localhost,57656,1305642624559 belongs to an existing region server 2011-05-17 18:30:29,942 INFO org.apache.hadoop.hbase.master.MasterFileSystem: Log folder file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674 doesn't belong to a known region server, splitting 2011-05-17 18:30:29,948 INFO org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Splitting 1 hlog(s) in file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674 2011-05-17 18:30:29,949 DEBUG org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Writer thread Thread[WriterThread-0,5,main]: starting 2011-05-17 18:30:29,952 DEBUG org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Splitting hlog 1 of 1: file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674/localhost%3A57701.1305642583180, length=0 2011-05-17 18:30:29,952 WARN org.apache.hadoop.hbase.util.FSUtils: Running on HDFS without append enabled may result in data loss 2011-05-17 18:30:29,952 WARN org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: File file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674/localhost%3A57701.1305642583180 might be still open, length is 0 2011-05-17 18:30:29,956 WARN org.apache.hadoop.fs.FSInputChecker: Problem opening checksum file: file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674/localhost%3A57701.1305642583180. Ignoring exception: java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:180) at java.io.DataInputStream.readFully(DataInputStream.java:152) at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.(ChecksumFileSystem.java:134) at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) at org.apache.hadoop.io.SequenceFile$Reader.openFile(SequenceFile.java:1444) at org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader$WALReader.openFile(SequenceFileLogReader.java:65) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1431) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1424) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1419) at org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader$WALReader.(SequenceFileLogReader.java:57) at org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader.init(SequenceFileLogReader.java:158) at org.apache.hadoop.hbase.regionserver.wal.HLog.getReader(HLog.java:576) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.getReader(HLogSplitter.java:477) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.parseHLog(HLogSplitter.java:414) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.splitLog(HLogSplitter.java:262) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.splitLog(HLogSplitter.java:188) at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:197) at org.apache.hadoop.hbase.master.MasterFileSystem.splitLogAfterStartup(MasterFileSystem.java:181) at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:385) at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:283) at org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMaster.run(HMasterCommandLine.java:193) at java.lang.Thread.run(Thread.java:662) 2011-05-17 18:30:29,957 WARN org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader: Error while trying to get accurate file length. Truncation / data loss may occur if RegionServers die. java.lang.NoSuchMethodException: org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.getFileLength() at java.lang.Class.getMethod(Class.java:1605) at org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader$WALReader$WALReaderFSDataInputStream.getPos(SequenceFileLogReader.java:107) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1434) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1424) at org.apache.hadoop.io.SequenceFile$Reader.(SequenceFile.java:1419) at org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader$WALReader.(SequenceFileLogReader.java:57) at org.apache.hadoop.hbase.regionserver.wal.SequenceFileLogReader.init(SequenceFileLogReader.java:158) at org.apache.hadoop.hbase.regionserver.wal.HLog.getReader(HLog.java:576) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.getReader(HLogSplitter.java:477) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.parseHLog(HLogSplitter.java:414) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.splitLog(HLogSplitter.java:262) at org.apache.hadoop.hbase.regionserver.wal.HLogSplitter.splitLog(HLogSplitter.java:188) at org.apache.hadoop.hbase.master.MasterFileSystem.splitLog(MasterFileSystem.java:197) at org.apache.hadoop.hbase.master.MasterFileSystem.splitLogAfterStartup(MasterFileSystem.java:181) at org.apache.hadoop.hbase.master.HMaster.finishInitialization(HMaster.java:385) at org.apache.hadoop.hbase.master.HMaster.run(HMaster.java:283) at org.apache.hadoop.hbase.master.HMasterCommandLine$LocalHMaster.run(HMasterCommandLine.java:193) at java.lang.Thread.run(Thread.java:662) 2011-05-17 18:30:29,959 WARN org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Could not open file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674/localhost%3A57701.1305642583180 for reading. File is emptyjava.io.EOFException 2011-05-17 18:30:29,959 DEBUG org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Writer thread Thread[WriterThread-1,5,main]: starting 2011-05-17 18:30:29,959 DEBUG org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Writer thread Thread[WriterThread-2,5,main]: starting 2011-05-17 18:30:29,962 INFO org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Archived processed log file:/tmp/hbase-sbos/hbase/.logs/localhost,57701,1305642579674/localhost%3A57701.1305642583180 to file:/tmp/hbase-sbos/hbase/.oldlogs/localhost%3A57701.1305642583180 2011-05-17 18:30:29,964 INFO org.apache.hadoop.hbase.regionserver.wal.HLogSplitter: Waiting for split writer threads to finish

then check the ${ping `hostname`}. If it send pings to 127.0.1.1 and you actually expect that the address should be 127.0.0.1, that's the problem. Fix it, for example, by removing record for 127.0.1.1 from your /etc/hosts.  Big thanks for the solution to @dlieuOfTwit

[sbos-blog]

[sbos-blog]

[sbos-blog]