Notes of Mikhail Getmanov

[mgetmanov]

Git rename remote branch

$ git branch new-branch-name origin/old-branch-name $ git push origin --set-upstream new-branch-name $ git push origin :old-branch-name

$ git fetch origin $ git remote prune origin

[mgetmanov]

Настройка лимитов использования памяти для Cassandra

При сборке Cassandra используется несколько правил для указания объема используемой памяти.

1) При объеме ОЗУ меньше 2 GB - выставляется ограничение в 50%

2) от 2GB до 4GB - выставляется ограничение 1 GB

3) при объеме памяти больше 4 GB - выставляется ограничение 25% от доступной памяти, но не более 8GB

Для выставления ограничений отличных от расчетных необходимо в cassandra-env.sh необходимо раскомментировать строки 

#MAX_HEAP_SIZE="4G" #HEAP_NEWSIZE="800M"

и указать необходимые значения.

Зона придельного комфорта по оперативной памяти для Cassandra находится в районе 14-15G

Из-за специфики архитектуры так же существует не явное ограничение в 16 GB. Если вам необходимо увеличить значение используемой оперативной памяти более 16GB то это имеет смысл только при доступности памяти более 32GB. Это обусловлено увеличением размерности ключа.

Минимальная зона комфорта для Cassandra находится в районе 700MB

[mgetmanov]

singel row update & upgrade

sudo sh -c "apt-get update;apt-get dist-upgrade;apt-get autoremove;apt-get autoclean"

[mgetmanov]

Создание нового lxc

lxc-create -n new-virtual-machine -t ubuntu -- -a amd64

[mgetmanov]

cron linux

для открытия кронтаба пользователя выполнить crontab -e

[mgetmanov]

LXC и Ubuntu

Для виртуализации существует легковесный Linux контейнер.

Но при настройки в ubuntu разработчика существуют свои тонкости. 1) установка. Вариант приведённый в документации не применим для владельцев Ubuntu. Это обусловлено багом в пакете lxc. В качестве решения существует 3 выхода. Добавить ppa репозиторий ubuntu-lxc (sudo apt-add-repository ppa:sgran/openvswitch-precise). Собрать из исходников lxc или снести ubuntu и поставить debian у которого без проблемный lxc (лично я остановился на первом варианте). При вышеизложенных манипуляциях нет необходимости установки питона для lxc. 2) Предполагается что в хостовой системе ведется разработка, а деплоится и дебажится уже в контейнере. Для комфортной работы я предлагаю создать симлинк на директорию которая необходима в контейнере. Для примера мой контейнер получил название s111, а получить доступ мне необходимо к директории /opt в этом виртуальном контейнере. Для этого надо дать права на директорию контейнеров sudo chmod o+rX /var/lib/lxc Делаем симлинк в хостовой системе на /var/lib/lxc/s111/rootfs/opt/

3) настройка сети в контейнере возможна в обход файла /etc/network/interfaces Более правильным видится настройка сети через редактирование /var/lib/lxc/s111/config Например добавив блог lxc.network.type=veth lxc.network.link=br0 lxc.network.flags=up lxc.network.hwaddr = 3a:76:42:51:79:bf lxc.network.ipv4 = 192.168.1.145/24 lxc.network.name = eth3 вы получите интерфейс eth3 с IP 192.168.1.145 линкованный через br0

[mgetmanov]

значек на панель Unity

для добавления иконки на панель запуска необходимо только 2 действия

сделать .desctop файл

с содержимым

#!/usr/bin/env xdg-open [Desktop Entry] Name=IntelliJ IDEA Comment=IntelliJ IDEA IDE Exec=/home/mgetmanov/Work/Work.Soft/idea-IU-139.224.1/bin/idea.sh Icon=/home/mgetmanov/Work/Work.Soft/idea-IU-139.224.1/bin/idea.png Terminal=false StartupNotify=true Type=Application Categories=Development;IDE;

и скопировать его сюда

/usr/share/applications/

[mgetmanov]

Настройка статичного адреса LXC

Для настройки статичного адреса на lxc конфиг контейнера

lxc.network.type=veth lxc.network.link=br0 lxc.network.flags=up lxc.network.hwaddr = 3a:76:42:49:79:bf lxc.network.ipv4 = 192.168.1.47/24 lxc.network.name = eth0

lxc.network.type=veth lxc.network.link=br0 lxc.network.flags=up lxc.network.hwaddr = 3a:76:42:51:79:bf lxc.network.ipv4 = 192.168.10.42/24 lxc.network.name = eth1

При этом интерфейсы могут оказаться изолированными от внешней сети

[mgetmanov]

DEB* смена часового пояса

Синхронизация времени работает по умолчанию.

mv /etc/localtime /etc/localtime-old

ln -sf /usr/share/zoneinfo/Europe/Moscow /etc/localtime

/sbin/hwclock --systohc

[mgetmanov]

LXC на ubuntu

В 14-04 пакет lxc с багом

ubuntu sudo apt-add-repository ppa:ubuntu-lxc/daily - актуальный репозиторий ppa

ИЛИ

git clone git://github.com/lxc/lxc cd lxc sh autogen.sh ./configure make sudo make install

[mgetmanov]

Обновление используемой jdk (GUI)

http://goo.gl/1p3e7N

gksudo ./update-java-0.5b

Далее пароль супер пользователя и выбираем java из /usr/lib/jvm

[mgetmanov]

автозапуск rtorrent

Автозапуск для deb и ubuntu через сервисы

Сервис скрипт для rtorrent здесь.

В начало файла необходимо добавить строки (без пустых строк)

### BEGIN INIT INFO

# Provides: scriptname

# Required-Start: $remote_fs $syslog

# Required-Stop: $remote_fs $syslog

# Default-Start: 2 3 4 5

# Default-Stop: 0 1 6

# Short-Description: Start daemon at boot time

# Description: Enable service provided by daemon.

### END INIT INFO

Также необходимо изменить пользователя от которого будет происходить запуск сервиса

user=USER_NAME

Делаем скрипт доступным для запуска

sudo chmod +x rtorrentInit.sh

Добавляем сервис в автозагрузку

sudo update-rc.d rtorrentInit.sh default

[mgetmanov]

Подсчет количества строк в git репозитарии

выводит количества строк

git ls-files | xargs cat | wc -l

Выводит все файлы и количество строк в каждом файле, а так же сумму

git ls-files | xargs wc -l

[mgetmanov]

Выбор в ant

<target name="do-load-to-ftp" if="NEED_TO_FTP"> <echo message="TRUE"/> </target> <target name="to-ftp"> <echo message="is ned load to ftp ${LoadToFtp}"/> <property name="foo" value="true" /> <condition property="NEED_TO_FTP"> <istrue value="${LoadToFtp}" /> </condition> <antcall target="do-load-to-ftp"/> </target>

[mgetmanov]

google protocol buffers AND JAVA

Рожден в недрах google. Отличает малый оверхед при сериализации\десериализации, а также при передаче. Формат по умолчанию для mongo.

вспомогательные опции

option optimize_for = SPEED;

option java_package = "name.getmanov.soa";

option java_outer_classname = "ServiceMsg";

Оптимизация для: скорости выполнения (сериализация/десериализация) - SPEED, размера кода - CODE_SIZE (размер класс), быстроты запуска - LITE_RUNTIME (быстрота запуска класса).

java_package - специфичная характеристика для java, определяет пакет в котором будет находиться объект после генерации класса.

java_outer_classname - специфичная характеристика для java, определяет имя класса объекта.

proto - объект (в дальнейшем proto) содержит в себе сообщения. По сути в разрезе ООП можно представить его как public class Object1{ public stattic class Object10{} piblic static Object11{}}. В передаче данных участвуют в первую очередь именно вложенные объекты (в proto они носят название message).

message InitSettings { required int32 callerPort = 1; required string callerHost = 2; required int32 crawlerPort = 3; required string crawlerHost = 4; optional int64 serviceID = 5 [default = 0]; optional int64 autoStopService = 6 [default = 36000000]; }

required - определяет обязательность заполнения поля

optional - указывает на необязательность заполнения поля

Так же есть возможность указать значение repeated. Это некая замена набора данных в частности листов.

натуральное число после знака = указывает на порядок полей в сериализованном объекте.

default указывает что у поля есть значение по умолчанию.

Так же есть возможность указать перечисление

enum ServiceType { VALUE1 = 0; VALUE2 = 1; VALUE3 = 2; VALUE4 = 3; }

Число после = аналог ordinal в java.

Объявляется примерно таким образом

message SerSettings { required ServiceType type = 1; }

В proto есть элементарные типы данных. почитать про них можно здесь 

так же в качестве типа может быть использован message.

Генерация классов происходит при помощи утилиты protoc.

protoc --java_out=src/ proto/*.proto

--java_out - указывает на место в которое будут складываться исходники классов.

параметр через пробел указывает источник протофайлов.

protobuf-compile входит в репозитории ubuntu.

Крайне не рекомендую вносить какие-либо изменения в класс proto.

Таким образом можно позвать объект по умолчанию.

InitSettings.getDefaultInstance() Так вызывается builder объекта

InitSettingsResponse.Builder isr = InitSettingsResponse.newBuilder(); Таким образом происходит заполнение полей proto

isr.setInited(server.getStatus() == IServer.ServerStatus.ON).setId(server.getID()); Таким образом происходит финолинализация объекта

isr.build() Так же в объекте proto переопределен метод toString() в результате получается что-то на подобии JSON.

Существуют процессоры прото-объектов для netty.

пример использования на моем gitlab

[mgetmanov]

Free Web Analytics Software

Piwik is the leading open source web analytics platform that gives you valuable insights into your website's visitors, your marketing campaigns and much more, so you can optimize your strategy and online experience of your visitors.

Отличный донатный проект. Позволяет реализовывать аналитику сравнимую google analytics в изолированной среде

для работы требует PHP и MySQL

[mgetmanov]

Настройка Cassandra multi-Node

Разворачиваем кассандру в режиме кластера на трех тачках

Список IP адресов и идентификаторов нод (для избежанием проблем объединения кластеров и дата-центров не рекомендовано использовать автоматическую генерацию идентификаторов нод)

Node 0: 10.10.11.0 0 Node 1: 10.10.11.1 3000000000000000001 Node 2: 10.10.11.2 6000000000000000001

Редактируем настройки кассандры

nano /opt/cassandra/conf/cassandra.yaml

для Node 0 cluster_name: 'MG_TEST_CLUSTER' initial_token: 0 seed_provider: - seeds: "10.10.10.0" listen_address: 10.10.11.0 rpc_address: 0.0.0.0 endpoint_snitch: RackInferringSnitch

для Node 1 cluster_name: 'MG_TEST_CLUSTER' initial_token: 3000000000000000001 seed_provider: - seeds: "10.10.10.0" listen_address: 10.10.11.1 rpc_address: 0.0.0.0 endpoint_snitch: RackInferringSnitch

для Node 2 cluster_name: 'MG_TEST_CLUSTER' initial_token: 6000000000000000001 seed_provider: - seeds: "10.10.10.0" listen_address: 10.10.11.2 rpc_address: 0.0.0.0 endpoint_snitch: RackInferringSnitch

перезапускуем ноды (первой должна запуститься сидирующая нода)

DONE