Geek world @linuxstory-blog - Tumblr Blog

Уязвимость в утилите grep

В утилите GNU grep обнаружена опасная уязвимость, которая проявляется при обработке входного потока и может быть использована для инициирования отказа в обслуживании и выполнения произвольного кода.

Уязвимы версии grep до версии 2.11 при обработке строки данных более 2 Гб на 64-битном хосте.

Ошибка может произойти, если не хватает доступной оперативной памяти, или если библиотека GNU C регулярных выражений не может справиться с такими длинными строками.

Команда для проверки уязвимости:

perl -e 'print "x"x(2**31)' | grep x > /dev/null

Ошибка сегментирования означает наличие уязвимости.

#gnu/linux #linux #grep #gnu/grep

Как редактировать файл в vim, доступ к которому есть только у root.

Работаете вы за компьютером. Увлечены работой. Начинаете редактировать файл в vim. Долго редактируете, упорно. А когда пытаетесь сохранить полученный результат, выясняется, что файл редактировать может только root. А sudo vim filename вы и забыли. Знакомая ситуация? Тоже не раз сталкивался с подобной ситуацией. Сейчас я расскажу, как можно сохранить изменения в файле, если вы редактируете его от обычного пользователя.

#linux #vim

Модуль mod_spdy для Apache готов к использованию

Google выпустила стабильную версию mod_spdy для Apache. С помощью модуля Apache может использовать протокол SPDY вместо HTTP, что позволяет увеличить скорость загрузки страниц до 55%.

#spdy #google #apache

Почему весёлым быть выгоднее, чем умным: исследования EQ в IT-среде

Исследователь Дэвид Карузо и пара его коллег – это как раз те парни, из-за которых технические навыки и интеллект при приёме на работу в крупные IT-компании часто оцениваются заметно ниже, чем эмоциональный интеллект.

Эмоции с чисто биологической точки зрения полезны. Они выступают в роли регулирующего механизма и активизируют определённые рефлексы. Например (Карузо бросает бумажкой в зрителя) — удивление. Оно расширяет зрачки, чтобы охватить ситуацию, рот быстро открывается на вдохе, чтобы начать бежать или кричать, руки поднимаются вверх для защиты. Это базовые программы, которые есть в «прошивке» каждого человека уже многие тысячелетия. Итак, во-первых, эмоции полезны для действий в бизнес-среде. Например, кидая бумажку, Карузо тут же вызвал интерес всей аудитории. Если бы он кидал камнем, интерес был бы выше. Во вторых, на удивление, эмоции необходимы: Дамасио утверждает, что без эмоций невозможно принятие рациональных решений (звучит странно, правда?). Речь о том, что эмоции дают ускоренную обработку внешних данных, как если бы мы использовали hardcode-алгоритмы. Если кидать в человека бумажкой, он поднимет руки быстрее, чем осознает ситуацию. Если он начнёт думать, то получит бумажкой по носу. В любом разговоре эмоциональный фильтр даёт ещё больше данных – например, за пару секунд можно увидеть множество эмоциональных микровыражений и получить кучу информации о реакции собеседника. А ещё эмоции универсальны и не привязаны к культуре: например, даже манула в зоопарке никто не хочет погладить когда он показывает свою обычную рожу. Пример мини-упражнения на создания нужного состояния. Эмоции аудитории перемещаются в зелёную зону. Саловей и Майер, теоретики эмоционального интеллекта, продолжили свою работу в 2000-х, доработали свои теории и в соавторстве с Карузо написали книгу «Ability Model» которая ориентирована на топ-менеджеров. В ней была предложена модель эмоционального интеллекта, модель способностей. Это в первую очередь способности восприятия.

#EQ #эмоциональный интеллект #топ-менеджмент #исследование #HR #переговоры #управление персоналом

Список проверки глупых вещей — Лимончелли

Многим известны книги Томаса Лимончелли по системному администрированию, очень ценные для админа книжки. На его сайте тоже немало интересного, среди прочего нашёл такую статью: «A list of dumb things to check». На русском языке она, к сожалению, не нагуглилась, переводил сам. После допилинга под свои условия буду использовать как часть КМБ у себя в отделе, а первоначальный перевод выкладываю тут.

Некоторые моменты не осилил (не хватило языка или технических знаний), но для практического применения, думаю, годится. Авторская пунктуация частично сохранена.

Статья (да и весь его блог) распространяется под CC-BY-NC-SA.

Вы решаете проблему в течение многих часов и внезапно осознаёте: «Бьюсь об заклад, дело в какой-то глупости!» Часто так и есть. Поэтому мы представляем…

список проверки глупых вещей

Добавлено: 2009-11-25: Люди ссылаются на это как на что-то смешное. Чёрт, это список на 100% правда! Все эти вещи случались со мной и заставили меня подумать: «Лучше я запишу всё это, чтобы ничего не забыть!» Даже последний пункт!

Уровень 0 — Человеческий

1. Убедитесь, что CapsLock выключен. (То же для ScrollLock и NumLock)

2. Напечатайте это снова (без копирования-вставки) и посмотрите, будет ли результат таким же. (помогает от опечаток) (и от символа юникода «whitespace»)

3. Скопируйте и вставьте имя переменной (или URL, команды и т. д.) чтобы убедиться, что оно введено верно.

4. Вы запускаете те программы, что думаете? (Может, вы устанавливали их в однопользовательском режиме, когда /opt не был смонтирован? Можете ли вы сравнить контрольные суммы файлов этой машины и машины, работающей правильно?)

5. Проверьте права на файл.

6. Это действительно тот компьютер, что вы думаете?

7. Вы выполняете проверку с правильной машины? Может, эффективнее будет с другой?

8. Выполняемая проверка действительно проверяет то, что вы думаете? Что если выполнить проверку заведомо исправной и заведомо неисправной систем? Вы получили те результаты, что ожидали?

9. Это файл, каталог, жёсткая ссылка, символическая ссылка или точка монтирования?

10. Правильное ли расширение у файла? Может, он должен быть .php, а не .html?

11. Не остановлен ли экран нажатием Ctrl-S? (Нажмите Ctrl-Q, чтобы выяснить это)

12. Можете ли вы попасть на веб-сайт? Работаете ли вы в автономном режиме?

Уровень 1 — Физический

1. Оба конца питающего/сетевого/видео/… кабеля подключены?

2. Кабель подключён в правильный разъём?

3. Пробовали ли вы отключить кабель и включить его снова, чтобы убедиться, что он в порядке?

4. На вопрос «Он подключён?» очень просто ответить «Да». Лучше попросить выключить и включить его снова, или проверить оба конца питающего кабеля, или спросить, горит, не горит или мигает индикатор питания.

5. Если включить в эту розетку лампу — она загорится?

6. Это ноутбук, который работает от батареи? (и, тем самым, не даёт заметить проблему с электроснабжением)

7. Драйвер, который вы устанавливаете, действительно от вашего устройства?

Уровень 2 — Канальный

1. Нет ли в сети постороннего DHCP-сервера?

2. Не исчерпан ли пул адресов на DHCP-сервере, остались ли свободные адреса?

3. VPN-соединение обрывается в произвольные моменты, а сервер получает ICMP-ответ «узел недоступен»? Фаерволл клиентского компьютера блокирует ARP, и по истечении времени хранения ARP-кэша (300 секунд) маршрутизатор не может отправить ему пакеты. (Некоторые производители хранят ARP-запись об адресе всё время, пока получают пакеты от этого адреса (Cisco), но большинство так не делает) (Я добавил это, потому что встречал такое в двух местах)

Уровень 3 — Сетевой

1. Указан ли шлюз по умолчанию? Правильно ли задана маска сети?

2. http://www.psc.edu/~mathis/MTU/index.html: шесть классов проблем, уменьшающих производительность сети:

* потеря пакетов, повреждение, перегруженность, неисправное оборудование

* IP-маршрутизация, высокое RTT (round trip time)

* переупорядочивание пакетов

* несоответствующее буферное пространство

* несоответствующий размер пакета

* неэффективные приложения

3. Этот IP-адрес у кого-то ещё? (Отключите сетевой кабель и попингуйте адрес)

4. (проблемы с правилами фаерволла) Проблема остаётся после изменения IP-адреса? Проблема остаётся после перемещения в другую подсеть? Проблема остаётся, если дать этот IP-адрес другой машине? Проблема остаётся, если загрузить другую ОС (например, Linux или FreeBSD с CD-ROM)?

5. Возникнет ли та же проблема, если вместо имени машины указать IP-адрес?

Уровень 4 — Транспортный

1. Выполните трассировку от A к B. Затем от B к A. Они соответствуют друг другу?

Уровень 5 — Сеансовый

1. SSH, SCP, L2TP, PPTP

Уровень 6 — Представительский

1. Читает ли программа последнюю строку файла? Она правильно обрабатывается?

2. Нет ли (невидимых) Ctrl-M в конце каждой линии текстового файла?

3. Заканчивается ли файл переносом строки?

4. Если строка заканчивается экранирующим символом "\", то действительно ли она им заканчивается? Нет ли после него невидимого пробела или табуляции? Невидимый пробел или табуляция могут привести к ошибке командной оболочки «неожиданный |» («unexpected |»)!

Уровень 7 — Прикладной

1. Правильно ли настроен DNS? Ошибка в настройках DNS скрывает другие проблемы и выглядит как проблема, решение которой вы станете искать где угодно, кроме /etc/resolv.conf

2. Проверьте переменные окружения.

3. Вы запускаете ту копию скрипта, которую редактируете?

4. Программа ищет конфигурационный файл там же, где и вы? (Может, новая верия ищет его по адресу /etc/example2/example.conf вместо старого адреса /etc/example.conf?)

Уровень 8 — Пользовательский/Политический

1. Пользователи действительно нажимают RETURN тогда, когда вы предполагаете? (Они вообще его нажимают?)

2. Пользователь пишет "/" или "\"?

3. Пользователь знает, что такое символы «меньше» (<) и «больше» (>)?

4. «У вас есть разрешение взламывать этот парольный файл?»… «Оно в письменной форме?»

5. Сегодня первое число месяца? Может быть, проблема с биллингом, и что-то отключилось.

6. Точно измерьте время, как часто возникает проблема, или через какое время она возникает. Отметьте отключения на шкале времени. С каким протоколом они могут быть связаны?

ARP-кэши хранятся 300 сеунд. Протоколы маршрутизации обычно обновляются каждые 5 или 15 минут. Однажды я построил график «пауз в сети» и увидел, что они случаются каждые 10 минут, но не только: ЦП маршрутизатора перегружался процессом, запускавшимся раз в 10 минут И каждый раз во время обновления RIP. Без графика я бы заметил только «каждые 10 минут»-составляющую.

Если ничего не помогло

Вы не забыли проверить этот список?

Том Лимончелли

#system administration

A new global treaty could allow corporations to police what we do on the Internet. Last week we successfully pushed back the US censorship bills -- if we act now, we can get the EU Parliament to bury this new threat -- add your voice now!

Llanfairpwllgwyngyllgogerychwyrndrobwllllantysiliogogogoch

Этот город с названием из 58 букв, действительно существует. Он находится в Вельсе (Великобритания). Сайт города является самым длинным доменным именем в мире.

Это название переводится как «Церковь святой Марии в зарослях белого орешника рядом с водопадом возле церкви святого Тайсилио и красной пещеры». Жители города кратко называют свой город "Llanfair". Происхождение этого названия известно: оно возникло в 1870 году, когда Валлийские патриоты решили придумать совершенно непроизносимое название для любого англичанина.

http://habrahabr.ru/blogs/sysadm/133987/

Выбор распределенной файловой системы для Linux. Пару слов о Ceph и остальных.

Существует несколько десятков файловых систем, все из них предоставляют пользовательские интерфейсы для хранения данных. Каждая из систем хороша по-своему. Однако, в наш век высоких нагрузок и петабайтов данных для обработки, оказалось довольно непросто подыскать то, что нужно, стоит лишь задуматься о распределенных данных, распределенных нагрузках, множественном монтировании rw и о прочих кластерных прелестях.

Задача: организовать распределенное файловое хранилище

— без самосборных ядер, модулей, патчей,

— с возможностью множественного монтирования в режиме rw,

— POSIX совместимость,

— отказоустойчивость,

— совместимость с уже использующимися технологиями,

— разумный overhead по I/O операциям по сравнению с локальными файловыми системами,

— простота конфигурации, обслуживания и администрирования.

В работе мы используем Proxmox и контейнерную виртуализацию OpenVZ. Это удобно, это летает, у этого решения больше плюсов, чем у аналогичных продуктов. По крайней мере для наших проектов и в наших реалиях.

Сам storage везде монтируется по FC.

OCFS2

У нас был успешный опыт использования данной файловой системы, решили сначала попробовать ее. Proxmox с недавнего времени перешел на редхатовское ядро, в нем поддержка ocfs2 выключена. Модуль в ядре есть, но на форумах openvz и proxmox не рекомендуют его задействовать. Мы попробовали и пересобрали ядро. Модуль версии 1.5.0, кластер из 4 железных машин на базе debian squeeze, proxmox 2.0beta3, ядро 2.6.32-6-pve. Для тестов использовался stress. Проблемы за несколько лет остались те же самые. Все завелось, настройка данной связки занимает полчаса от силы. Однако, под нагрузкой кластер может самопроизвольно развалиться, что ведет к тотальному kernel panic на всех серверах сразу. За сутки тестов машины перезагружались в общей сложности пять раз. Это лечится, но доводить такую систему до работоспособного состояния довольно тяжело. Пришлось также пересобирать ядро и включать ocfs2. Минус.

GFS2

Хоть ядро и редхатовское, модуль по умолчанию включен, завестись мы и здесь так и не смогли. Все дело в proxmox, которые со второй версии придумали свой кластер с шахматами и поэтессами для хранения своих конфигов. Там cman, corosync и прочие пакеты из gfs2-tools, только все пересобранные специально для pve. Оснастка для gfs2, таким образом, из пакетов просто так не ставится, так как предлагает сначала снести весь proxmox, что мы сделать не могли. За три часа зависимости удалось победить, но все опять закончилось kernel panic. Попытка приспособить пакеты для proxmox для решения наших проблем успехом не увенчалась, после двух часов было принято решение отказаться от этой идеи.

CEPH

Остановились пока на ней.

POSIX совместимая, высокая скорость работы, отличная масштабируемость, несколько смелых и интересных подходов в реализации.

Файловая система состоит из следующих компонентов:

1. Клиенты. Пользователи данных.

2. Сервера метаданных. Кэшируют и синхронизируют распределенные метаданные. С помощью метаданных клиент в любой промежуток времени знает, где находятся нужные ему данные. Также сервера метаданных выполняют распределение новых данных.

3. Кластер хранения объектов. Здесь в виде объектов хранятся как данные, так и метаданные.

4. Кластерные мониторы. Осуществляют мониторинг здоровья всей системы в целом.

Фактический файловый ввод/вывод происходит между клиентом и кластером хранения объектов. Таким образом, управление высокоуровневыми функциями POSIX (открытие, закрытие и переименование) осуществляется с помощью серверов метаданных, а управление обычными функциями POSIX (чтение и запись) осуществляется непосредственно через кластер хранения объектов.

Любых компонентов может быть несколько, в зависимости от стоящих перед администратором задач.

Файловая система может быть подключена как напрямую, с помощью модуля ядра, так через FUSE. С точки зрения пользователя, файловая система Ceph является прозрачной. Они просто имеют доступ к огромной системе хранения данных и не осведомлены об используемых для этого серверах метаданных, мониторах и отдельных устройствах, составляющих массивный пул системы хранения данных. Пользователи просто видят точку монтирования, в которой могут быть выполнены стандартные операции файлового ввода / вывода. С точки зрения администратора имеется возможность прозрачно расширить кластер, добавив сколько угодно необходимых компонентов, мониторов, хранилищ, серверов метаданных.

Разработчики гордо называют Ceph экосистемой.

GPFS, Lustre и прочие файловые системы, а также надстройки, мы не рассматривали в этот раз, они либо очень сложны в настройке, либо не развиваются, либо не подходят по заданию.

Конфигурация и тестирование

Конфигурация стандартная, все взято из Ceph wiki. В целом файловая система оставила приятные впечатления. Собран массив 2Тб, пополам из SAS и SATA дисков (экспорт блочных устройств по FC), партиции в ext3.

Ceph storage примонтирован внутрь 12-и виртуальных машин на 4 hardware nodes, осуществляется чтение-запись со всех точек монтирования. Четвертые сутки стресс-тестов проходят нормально, I/O выдается в среднем 75 мб/с. на запись по пику.

Мы пока не рассматривали остальные функции Ceph (а их осталось еще довольно много), также есть проблемы с FUSE. Но хотя разработчики предупреждают, что система экспериментальная, что ее не стоит использовать в production, мы считаем, что если очень хочется, то можно -_-

Прошу всех заинтересованных, а также всех сочувствующих, в личку. Тема очень интересная, ищем единомышленников, чтобы обсудить возникшие проблемы и найти способы их решения.

Ссылки:

— http://ru.wikipedia.org/wiki/Ceph

— сайт проекта

— краткий обзор, используемый при написании данной статьи

#ceph #distributed file system

То, чего вы не ждали от калькулятора. Пасьянс на bc

Невинные развлечения с bash больше не кажутся мне чем-то особенным. В качестве своей следующей цели для экспериментов я выбрал GNU bc — консольный калькулятор и скриптовый математический язык программирования в одной коробке. Эта статья наверняка будет полезна всем линуксоидам и юниксоидам, не очень тесно знакомым с bc.

Итак, короткое введение в программирование на bc, кавай и нэки маджонг и гейши пасьянс на чистом bc и поэтессы. Не помню, когда я впервые узнал про bc, но уже много лет в качестве калькулятора я использую только его. Простой и удобный консольный калькулятор, имеющийся по умолчанию в большинстве дистрибутивов Linux, пленяет своим удобством.

Девятый кю (белый пояс)

Запустить калькулятор можно очевидной командой bc. После этого можно вводить выражения для вычисления. Нажатие наEnter сразу выдаст результат.

sourcerer@debian-laptop:~$ bc bc 1.06.95 Copyright 1991-1994, 1997, 1998, 2000, 2004, 2006 Free Software Foundation, Inc. This is free software with ABSOLUTELY NO WARRANTY. For details type `warranty'. >2*2 4 >3*(6+1) 21 >5||(1&&0) 1 >5/2 2

В выражениях можно использовать скобки, знаки сложения, вычитания, деления и умножения, а так же && (логическое «и»), || (логическое «или») и! (логическое «не»).

Шестой кю (зеленый пояс)

В калькуляторе bc можно и нужно использовать переменные. Чтобы определить переменную, нужно записать её имя, поставить знак «равно» и затем записать значение переменной. Всё как везде.

>raw=3116 >raw+1 3117

Самые внимательные успели обнаружить, что калькулятор округляет все числа до целых. Причина в следующем: специальная переменная scale, определяющая точность вычислений, по умолчанию равна нулю. Если вы хотите получить результат с точностью до десяти знаков, то присвойте переменной число 10.

>5/2 2 >scale=10 >5/2 2.5000000000 >7/191 .0366492146

В bc есть ещё три специальных переменных. Last хранит в себе прошлый результат вычислений, obase и ibase используются для работы с различными системами счисления.

>1 1 >last+10 11 >obase=16 >last B >255+1 100 >ibase=16 >FE+1 FF

Пятый кю (голубой пояс)

Пришло время научиться работать со стандартной библиотекой и подключать сторонние функции. Чтобы использовать стандартную библиотеку языка bc, нужно запускать его с параметром -l:

sourcerer@debian-laptop:~$ bc -l bc 1.06.95 Copyright 1991-1994, 1997, 1998, 2000, 2004, 2006 Free Software Foundation, Inc. This is free software with ABSOLUTELY NO WARRANTY. For details type `warranty'. >s(3) .14112000805986722210

В стандартной библиотеке определены следующие функции:

s (x) — синус x

c (x) — косинус x

a (x) — арктангенс x

l (x) — натуральный логарифм x

e (x) — экспонента от x

j (n,x) — функция Бесселя n-го порядка от x

Чтобы использовать сторонние библиотеки, стоит скачать их, например, с сайтов phodd.net/gnu-bc/ иhttp://marcmmw.freeshell.org/esp/programacion/bc.html. Вы найдете процедуры для работы с массивами, интегралами, производными, логикой, генераторы случайных чисел и многое другое. Моя любимая библиотека — для работы с изображениями в формате ppm. Это на bash можно что хочешь генерировать — хоть bmp, хоть jpeg, а здесь всё суровее. Не EГГОГология, конечно, но всё равно. Запускать bc со сторонними библиотеками следует так:

sourcerer@debian-laptop:~$ bc rand.bc bc 1.06.95 Copyright 1991-1994, 1997, 1998, 2000, 2004, 2006 Free Software Foundation, Inc. This is free software with ABSOLUTELY NO WARRANTY. For details type `warranty'. >rand(96) 21

Фрактал Мандельброта, рассчитанный в bc и сохраненный в ppm.

Четвертый кю (синий пояс)

Синтаксис bc очень похож на синтаксис Си. Поэтому можно смело использовать команды if, for, while, break, continue, return и расставлять фигурные скобки где не попадя. Только после команд не нужно ставить точек с запятой, для вывода на экран использовать команду print, а для ввода — read. Функции определять командой define. Смотрите:

>define func () { >for (i=0;i<10;i++) { >a=a+i >print a, «\n» >} >return 1} >t=func () 0 1 3 6 10 15 21 28 36 45 >print t 1

Третий кю (коричневый пояс)

В bc, к сожалению, нельзя работать с файловым вводом-выводом. Весь ввод через read, весь вывод через print. Еще в bc нельзя работать со строковыми переменными. Хотя, постойте! Можно использовать 36-ричную систему счисления, или же работать с массивами чисел как со строками. Кроме того, в bc команда print не поддерживает полный набор escape-последовательностей.

The special characters recognized by bc are "a" (alert or bell), "b" (backspace), "f" (form feed), "n" (newline), "r" (carriage return), "q" (double quote), "t" (tab), and "\e" (backslash). Any other character following the backslash will be ignored.

Когда я узнал об этом печальном ограничении, я подумал, что меня ждет розовая птица обломинго, ведь для любой серьезной игрушки нужно точное позиционирование курсора, и желательно использование различных цветов. Однако, я взял hex-редактор в руки и обошёл ограничение следующим образом: вставил символ с кодом 1Bh (escape) в качестве аргумента команды print, и затем пользовался всеми радостями Escape-последовательностей. Ах, да, чтобы вызываемые функции не мусорили на экран, их return-значение следует присваивать какой-нибудь переменной так, как я делал это в прошлом примере. И, наконец, самый унылый факт: в bc есть только один способ отлавливать нажатия клавиш — read. И он совершенно не подходит для интерактивных игр. А жаль, потому что на моём компьютере алгоритм рейкастинга, запущенный в bc, работает раз в десять быстрее, чем тот же алгоритм в bash, и выдает около 30-40 кадров в секунду.

Второй кю (всё еще коричневый пояс)

Теперь можно написать простой пасьянс на bc. Я выбрал пасьянс «Турецкий платок». Скачиваем архив с исходными кодами, распаковываем, запускаем так:

bc rand.bc printcard.bc

После запуска нужно ввести seed — начальное значение генератора случайных чисел. После этого вы увидите перетасованную колоду карт, разложенную в десять столбцов. Вводите номера столбцов, и если последние карты столбцов имеют одинаковую картинку (например, двойка треф и двойка бубен), то они будут убраны. Как только все карты удастся разобрать, программа поздравит вас с победой и завершит bc. Если вы решили, что стоит прекратить распутывать платок, нажмите Ctrl+C дважды, и затем Enter.

Первый дан (черный пояс)

А не будет информации про него. Почему? Потому что я еще не чувствую себя мастером... P.S. Ссылка на пасьянс ещё раз, специально для тех, кто всегда сначала скачивает все файлы, а потом читает статью:narod.ru/disk/31656937001/platok.tar.html

#linux #bash #bc #games

Cкоростная синхронизация миллиарда файлов

Есть несколько идентичных серверов (4 ноды) на Amazon EC2. Каждый генерирует и хранит у себя на диске кэш, который хотелось бы синхронизировать. Но простой rsync тут не подойдет — файлов несколько миллиардов, nfs — слишком медлителен, и т. д. Полный список рассмотренных вариантов с пояснениями ниже. К тому же, время от времени нужно удалять устаревшие файлы сразу на всех серверах, что пока делается вручную и занимает несколько суток. Вопрос наиболее быстрой для такого Use Case файловой системы планирую описать позже. Оговорюсь только, что по нескольким причинам была выбрана XFS.

После теста нескольких кластерных технологий и файловых систем, по совету старшего товарища, решили использовать тот же rsync, но в связке с inotify. Немного поискав в интернете готовое такое решение, дабы не изобретать велосипед, наткнулся на csyncd, inosync и lsyncd. csyncd тут не подходит, т.к. хранит список файлов в базе SQLite, которая вряд-ли сможет сносно работать даже с миллионом записей. Да и лишнее звено при таких объемах ни к чему. А вот lsyncd оказался именно тем, что нам и было нужно.

Rsync + inotify = lsyncd

Lsyncd — демон, который следит за изменениями в локальной директории, агрегирует их, и по прошествии определенного времени стартует rsync для их синхронизации. Итак, rsync'ать все сразу мы не можем, зато можем обновлять только то, что изменилось. О последнем нам расскажетinotify, подсистема ядра, уведомляющий приложения об изменениях в файловой системе. Lsyncd следит за событиями изменения локального дерева файлов, собирает эту информацию за 10 секунд (можно указать любое другое время) либо пока не соберется 1000 событий (смотря какое событие произойдет первым), и запускает rsync для отправки этих файлов на остальные ноды в нашем кластере. Запускается rsync с параметром update, то есть файл на получателе будет заменен отправляемым только если последний новее. Это дает возможность избежать коллизий и лишних операций (например, если один и тот же файл был сгенерирован параллельно и на отправителе, и на получателе).

Реализация

Процесс установки описан для Ubuntu 11.10. В других версиях могут быть отличия. 1. Настроим ssh, чтобы можно было зайти с любой ноды на другую без авторизации. Скорее всего все знают как это делается, но на всякий случай опишу. # ssh-keygen Passphrase оставляем пустой. Далее добавляем содержимое ~/.ssh/id_rsa.pub на все остальные ноды в кластере в ~/.ssh/authorized_keys. Естественно выбираем $HOME того пользователя, который имеет права на запись в папку синхронизации. Проще всего, если это будет /root, но это не лучший выбор с точки зрения безопасности. Желательно также прописать все ноды в /etc/hosts. Я назвал их node01, node02, node03. Повторяем на всех нодах. 2. Устанавливаем lsyncd #apt-get install lsyncd 3. Конфиг хоть и нужно создавать вручную, но он довольно прост. Пишется на языке Lua. Интересен также комментарий о причинах выбора именно Lua от автора lsyncd. Я еще создал отдельную директорию для логов. # mkdir -p /etc/lsyncd # mkdir -p /var/log/lsyncd # vi /etc/lsyncd/lsyncd.conf.lua Содержимое конфига с комментариями: settings = { logfile = "/var/log/lsyncd/lsyncd.log", statusFile = "/var/log/lsyncd/lsyncd.status", nodaemon = true --<== лучше оставить для дебага. потом выключите. } --[[ sync { default.rsync, --<== используем rsync для синхронизации. по-идее, можно использовать и что-то другое. source="/raid", --<== локальная директория, которую синхронизируем target=«node01:/raid», --<== dns-имя и директория на ноде-получателе через двоеточие rsyncOps={"-ltuspog", "--temp-dir=/mnt-is"}, --<== temp-dir нужна если синхронизация двухсторонняя. delay=10 --<== время, которое будет собираться список событий для синхронизации } ]] sync { default.rsync, source="/raid", target=«node02:/raid», rsyncOps={"-ltuspog", "--temp-dir=/mnt-is"}, delay=10 } sync { default.rsync, source="/raid", target=«node03:/raid», rsyncOps={"-ltuspog", "--temp-dir=/mnt-is"}, delay=10 } Конфиг проще сделать один раз и дальше разнести на все ноды, закомментировав лишний для каждого конкретного сервера блок. Комментарии — все что находится между «--[[» и «]]». Используемые опции вызова rsync: l — копировать симлинки; u — не обновлять файлы на получателе если они новее; t,p,o,g — копировать время, права доступа, владельца, группу соответственно. s — на случай если в имени файла попадется пробел. Подробнее в man lsyncd или в документации. 4. Стартуем демон на всех нодах: # /etc/init.d/lsyncd start Если Вы оставили «nodaemon = true» в конфиге, то сможете видеть что происходит. Дальше копируем/создаем/удаляем что-нибудь в директории, которую мы указали для синхронизации (у мнея это /raid), ждем несколько секунд и проверяем результат синхронизации. Скорость передачи данных достигает 300 Мбит/с и на загрузку сервера это мало влияет (по сравнению с тем же GlusterFS, например), да и задержка в данном случае сглаживает пики. Многое еще зависит от используемой ФС. Тут тоже пришлось провести маленькое исследование, с цифрами и графиками, так как ситуация довольно специфическая и результаты существующих опубликованных тестов не отражают того, что требуется в задаче.

Что еще было рассмотрено и почему не подходит в данном случае

Все исследование было нацелено на работу с Amazon EC2, с учетом ее ограничений и особенностей, поэтому полученные выводы в основном касаются только ее.

DRBD – репликация идет на блочном уровне. В случае деградации одного носителя убиваются оба. Ограничение в 2 ноды. (Больше можно, но 3 и 4-й можно подключить только как слейвы.)

Ocfs2 – используется либо поверх DRBD (о чем есть хорошая статья на хабре), либо нужно иметь возможность монтировать один раздел с нескольких нод. Невозможно на ec2.

Gfs2 – аналог ocfs2. Не пробовал, т. к. согласно тестам эта ФС медленней ocfs2, в остальном — ее аналог.

GlusterFS – вот тут все заработало практически сразу и как надо! Проста и логична в администрировании. Можно сделать кластер до 255 нод с произвольным значением реплик. Создал кластерный раздел из пары серверов и примонтировал его на них же но в другую директорию (то есть сервера были одновременно и клиентами). К сожалению на клиенте этот кластер монтируется через FUSE, и скорость записи оказалась ниже 3 МБ/сек. А так, впечатления от использования очень хорошие.

Lustre — чтобы запустить сие дело в krenel mode нужно патчить ядро. Как ни странно, в репозитории Ubuntu есть пакет с этими патчами, но вот самих патчей под нее или хотя-бы под Debian я не нашел. И судя по отзывам, понял, что завести это в deb-системе — шаманство.

Hadoop w/ HDFS, Cloudera — не пробовал, поскольку было найдено другое решение (см. ниже). Но первое что бросается в глаза — написано на Java, следовательно ресурсов кушать будет много, да и масштабы не как у Фесбука или Яху, всего 4 ноды пока.

#lsyncd #rsync #inotify #linux

Капля никотина убивает лошадь, а хомячка разрывает на куски.

Капля каннабиноида пробивает лошадь на хи-хи, а хомячка снова разрывает на куски (но уже от хохота).

Капля кокаина раскрывает творческие потенциалы лошади, а хомячка начинает переть от собственной крутизны.

Капля героина повышает самооценку лошади, а хомячка начинает еще больше плющить от собственной крутизны.

Капля кетамина обеспечит лошади четыре часа здорового безмятежного сна, а хомячка расколбасит на пару суток.

Капля амфетамина позволит лошади сосредоточиться, а хомячка доведет до паранойи и окосения.

Капля триптамина обеспечит лошади некоторое количество радужных глюков и легкий стрем на отходняке, а у хомячка из головы начнут расти рога, цветы и прочая разноцветная гадость часов на восемь.

Капля мескалина сместит у лошади точку сборки, а хомячка превратит в Шай-Хулуда Карликового.

Капля лизергина откроет лошади путь в Матрицу, а для хомячка закроет двери в реальный мир.

RegExp для валидации email

Формат задекларирован в RFC822.

Наверное они готовились к порабощению мира…

(Еще куча мыслей, в большинстве своем связанных с нашествием мозговых слизней)

(?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t] )+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?: \r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:( ?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\0 31]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\ ](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+ (?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?: (?:\r\n)?[ \t])*))*|(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z |(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n) ?[ \t])*)*\@,;:\\".\[\] \000-\031]+(?:(?:(?:\ r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n) ?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t] )*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])* )(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t] )+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*) *:(?:(?:\r\n)?[ \t])*)?(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+ |\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r \n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?: \r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t ]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031 ]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\]( ?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(? :(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(? :\r\n)?[ \t])*))*\>(?:(?:\r\n)?[ \t])*)|(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(? :(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)? [ \t]))*"(?:(?:\r\n)?[ \t])*)*:(?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]| \\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<> @,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|" (?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t] )*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\ ".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(? :[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[ \]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*|(?:[^()<>@,;:\\".\[\] \000- \031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|( ?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)*\@,; :\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([ ^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\" .\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\ ]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\ [\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\ r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\] |\\.)*\](?:(?:\r\n)?[ \t])*))*)*:(?:(?:\r\n)?[ \t])*)?(?:[^()<>@,;:\\".\[\] \0 00-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\ .|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@, ;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(? :[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])* (?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\". \[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[ ^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\] ]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:(?:\r\n)?[ \t])*)(?:,\s*( ?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\ ".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:( ?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[ \["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t ])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t ])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(? :\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+| \Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*|(?: [^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\ ]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)*\@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\[" ()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n) ?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<> @,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@, ;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t] )*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\ ".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*)*:(?:(?:\r\n)?[ \t])*)? (?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\". \[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?: \r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\[ "()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t]) *))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t]) +|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\ .(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z |(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:( ?:\r\n)?[ \t])*))*)?;\s*)

Сборка и установка pf-kernel для Ubuntu

Качаем ядро своей версии с kernel.org. Внимание: качать нужно версию без стабилизационных патчей (в случае с 2.6.38.11 качать нужно просто 2.6.38).Качаем pf-kernel для этой версии ядра отсюда. Распаковываем архивы и ставим патч. patch -p1 < (адрес pfkernel патча) Копируем свой конфиг в папку с ядром. cp /boot/config-`uname -r` .config При желании можно сделать localmodconfig, который отключит все лишние модули, это может сильно ускорить сборку ядра. make localmodconfig если будет ругаться на то что нет /sbin/lsmod ln -s /bin/lsmod /sbin/lsmod Настраиваем ядро make menuconfig Нужно включить BFS, BFQ и tuxonice при желании, а также во вкладке о процессоре стоит выбрать оптимизацию под свой процессор. Ставим патч для ядер с kernel.org sed -rie 's/echo "\+"/#echo "\+"/' scripts/setlocalversion Очищаем директорию make-kpkg clean Собираем CONCURRENCY_LEVEL=`getconf _NPROCESSORS_ONLN` fakeroot make-kpkg --initrd --append-to-version=-pf kernel_image kernel_headers Вот собственно и все. Ставим ядро командой dpkg -i *.deb, перезагружаемся и выбираем его в загрузчике.

#linux #linux kernel #pfkernel #ubuntu

Как понять почему упал сервер не подключая к нему монитор и клавиатуру?

Так бывает что сервер зависает, но к нему не подключена ни клавиатура, ни монитор.

У меня нет лишнего монитора, и обнаружив, что сервер не отвечает по сети, снимать монитор с моего компьютера и подключать к серверу в кладовке нет никакого желания и сил. В Linux есть такая возможность ядра как Netconsole. Netconsole позволяет послать сообщения от ядра на удаленный компьютер. Для настройки netconsole нужен другой (постоянно включенный) компьютер который примет сообщение по сети. Проверено на Ubuntu 10.04 На сервере который отлаживаем выполняем: 1. В /etc/modules добавляем netconsole 2. В /etc/modprobe.d/netconsole.conf пишем options netconsole netconsole=SRCPORT@SRCHOST/eth0,DSTPORT@DSTHOST/DSTMAC Где SRCPORT и SRCHOST соответственно порт и IP адрес сервера который отлаживаем. А DSTPORT и DSTHOST порт и IP адрес сервера который будет принимать сообщения. DSTMAC — это MAC адрес сервера который будет принимать сообщения ЕСЛИ он в той же сети. Если он за роутером или где нибудь в интернете, то нужно указывать MAC адрес ближайшего роутера (Gateway). Должно получится чтото типа options netconsole [email protected]/eth0,[email protected]/e0:91:f5:7d:e6:38 На сервере который будет принимать сообщения. Нам нужно как то запустить программу которая будет слушать UDP порт DSTPORT и куда-либо записывать сообшения. Самый просто способ — запустить netcat который будет выдавать на экран все что приходит на порт. Для того чтобы после закрытия окна данная программа не прекратила работать, можно запустить ее в screen. 1. Запускаем screen screen -U -D -RR 2. Запускаем в окне netcat netcat -l -u DSTHOST DSTPORT Как понять что все работает? Можно подождать какого нибудь события, но как убедится что сообщения реально ходят? Можно активировать SysRQ механизм ядра. echo 1 > /proc/sys/kernel/sysrq echo h > /proc/sysrq-trigger После этого на сервере который принимает сообщения в окне с netcat появится текст типа [ 7849.700372] SysRq : HELP : loglevel(0-9).... Ссылки

wiki.ubuntu.com/Kernel/Netconsole

www.cyberciti.biz/tips/linux-netconsole-log-management-tutorial.html

#linux #kernel #netconsole

Trending Blogs

Recently Viewed Blogs

Geek world