Sargue's blog

Vulnerabilidad cr�tica en Debian

2008-05-15T13:02:00.002+02:00

URGENTE: En principio cualquier responsable de un sistema Debian a estas horas ya deberia ser consciente de este problema, pero por si acaso atenci�n a este problema:

Debilidad criptogr�fica en los paquetes openssl de Debian [Barrapunto]

Rsync 3 bajo Windows

2008-04-05T18:33:00.002+02:00

Como ya sab�is los que hay�is leido posts anteriores de este blog utilizo mucho rsync para realizar copias de seguridad de manera remota a trav�s de Internet (y tambi�n red local, por qu� no) dado su alta eficiencia. Normalmente dichas copias de seguridad las realizo entre equipos corriendo sobre una versi�n u otra de Linux y todo funciona de maravilla. Sin embargo un par de las copias que hago son de estaciones de trabajo Windows utilizando el mismo rsync como servicio que incluye el paquete backuppc.

El problema viene con la gesti�n de los juegos de car�cteres de los nombres de los ficheros. Al hacer la copia entre un Windows (cp1252) y un Linux (UTF-8 en mi caso) los nombres de los ficheros se corrompen. El contenido por supuesto siempre es tratado de manera binaria y por tanto es perfectamente correcto. Como tampoco hab�a ninguna soluci�n durante este tiempo simplemente me he "aguantado" y si tenia que recuperar algo pues lo hac�a con los nombres mal (aunque yo personalmente nunca utilizo car�cteres fuera del ascii b�sico precisamente por este tipo de cosas).

Recientemente el grupo de trabajo de Samba ha sacado la versi�n 3 de rsync que incorpora jugosas novedades entre las que destaca (en este caso) el soporte de la libreria iconv para convertir los nombres de ficheros entre juegos de car�cteres. As� que me he armado de valor para intentar compilar e instalar como servicio Windows un software dise�ado para Linux.

Ha resultado ser sorprendentemente f�cil. Con cygwin por supuesto. Primero he eliminado el anterior servicio rsyncd basado en el paquete que viene con backuppc. He instalado cygwin junto con algunos paquetes extras necesarios para compilar el paquete (gcc, libiconv, make, cygrunsrv). He descargado, compilado e instalado el paquete rsync que ha funcionado de manera sorprendentemente fluida y sin errores (para ser un entorno un poco "delicado" como cygwin). Lo he instalado como servicio mediante la utilidad cygrunsrv y finalmente he conseguido sincronizar los datos para la copia de seguridad contra un Debian Lenny (testing) ejecutando rsync 3.0.0 y manteniendo correctamente todas las e�es, vocales acentuadas y dem�s engendros diab�licos.

Comentar tan s�lo algunos problemas encontrados:

Hay que ir con cuidado al compilar rsync 3 porque realmente no requiere la libreria libiconv pero si no la encuentra simplemente lo compila sin soporte para esa caracter�stica.
Quiz�s es un problema de cygwin o de la versi�n de rsync 3 o simplemente de compatibilidad con Windows pero la configuraci�n por defecto del rsyncd que incluye un fichero pid donde almacena el identificador del proceso del daemon no me funciona. Al cerrar el equipo no borra el fichero y al siguiente arranque el servicio no arranca alegando que ya existe el fichero. Quitando la opci�n para que no utilice el fichero lo soluciona.
La versi�n 3.0.0 de rsync tiene un bug que impide en ciertos casos que se transfiera correctamente el nombre de un fichero deteniendo toda la transferencia. En la versi�n 3.0.1 ya est� corregida. Yo mismo detect� el error y lo transmit� a la lista de distribuci�n de rsync donde, de manera muy r�pida y eficiente, Wayne Davison corrigi� el error. Desde aqu� (aunque no lo vaya a leer), gracias Wayne!

Configuraciones RAID y LVM en Debian Linux

2008-03-17T17:02:00.004+01:00

Hoy tengo una nueva batallita que contaros sobre configuraciones RAID y LVM en un Debian Lenny (testing). Ya tocaba porque hacia bastante que funcionaba sin ning�n problema y eso "no puede ser normal".

Bromas aparte os recuerdo un poco como est� configurada esta m�quina:

El servidor incorpora 5 discos duros bastante variados: 1 de 300 GB, 2 de 320 GB y 2 de 500 GB.

El motivo de esta variedad es porque a medida que van fallando o puedo ir ampliando discos los voy sustituyendo por otros de mayor capacidad lo que me permite ir aumentando la capacidad disponible, sobre todo teniendo en cuenta que sobre el software RAID utilizao LVM para gestionar particiones.

El problema me lo he encontrado ahora que he reiniciado la m�quina, pero se gener� hace ya semanas con un cambio que realic� (y para el que no reinici� en su momento ya que no era necesario).

Antes de ese cambio tenia dos unidades software RAID, md0 y md1. La primera es un simple RAID 1 para /boot sobre 3 dispositivos. El segundo es m�s interesante, un RAID 5 sobre 5 particiones de cada uno de los discos.

El cambio fue sustituir 2 discos de 320 GB por los actuales 2 de 500 GB y para ir aprovechando el espacio (hasta que pueda disponer de todos en 500GB) utilizar� el espacio sobrante de los de 500GB para crear un RAID 1 de dos particiones.

Bueno, nada m�s facil. Cre� el RAID con mdadm, lo convert� en unidad f�sica LVM con pvcreate y lo a�ad� a un grupo existente (vg0). Todo funcionaba correctamente hasta que hoy he reiniciado la m�quina y me he encontrado que no arranca quej�ndose de que no puede montar la partici�n raiz (y unas lineas m�s arriba el LVM se queja que le falta un dispositivo).

El problema est� en que si bien LVM si que hace un escaneo total de todas las particiones y busca las unidades y dispositivos f�sicos, el software raid se basa en el fichero /etc/mdadm/mdadm.conf para construir los arrays aunque los pueda detectar autom�ticamente. El problema es que el arranque del Debian me deja un m�nimo sistema (busybox) en el que no dispongo del LVM aunque si del mdadm.

Lo siguiente es arrancar con un CD (en este caso tras un kubuntu que no lleva mdadm ni lvm y un debian-installer antiguo que no me reconoce una controladora SATA PCI-Express) acabo consiguiendo arrancar con una imagen nueva del Debian-Installer para testing. Con eso consigo entrar por linea de comandos, construir la unidad y el lvm y acceder a mi /etc.

Una vez en /etc puedo ya editar el mdadm.conf y poner el nuevo array. Grabo fichero, rearranco, y sigue igual. �Claro! El mdadm.conf es una de las partes que se copian en la imagen de arranque en memoria (el llamado initramfs). As� que adem�s de modificar el mdadm.conf tengo que actualizar ese initramfs.

As� que vuelta a arrancar con el CD, monto de nuevo la partici�n raiz y el /var que tambi�n necesito, y ejecuto update-initramfs -ut para actualizar la �ltima versi�n del kernel. De momento no los actualizo todos para probar... no sea el caso que rompamos algo.

Reinicio para probar y arranco con el �ltimo kernel. Y ahora si, todo perfecto (aunque con tanto ir y venir el RAID se ha quejado y est� reconstruyendo la unidad).

As� que la moraleja de hoy es: si a�ades un array con mdadm y quieres tenerlo disponible al arrancar, recuerda ejecutar update-initramfs.

Actualizaci�n 6/6/08: Para generar f�cilmente el fichero mdadm.conf podemos utilizar el comando mdadm --examine --scan

Blog de empresa

2008-02-29T10:04:00.002+01:00

Bueno, habr�is visto que llevo una buena temporada sin escribir. Resulta que estamos a tope de trabajo (por cierto, buscamos gente) y adem�s estamos preparando una remodelaci�n total de la web de la empresa. Como parte de la remodelaci�n hemos creado un blog de empresa donde todos los de TICOP iremos escribiendo.

Los temas que considere especialmente interesantes t�cnicamente intentar� recordar de poner una referencia aqu� por si alguien lo encuentra de utilidad.

Avances en factorizaci�n entera, o �el principio del fin de mucha criptografia actual?

2007-12-07T11:22:00.000+01:00

Perdonad el t�tulo pero me llevan los titulares morbosos. A trav�s del nuevo microblog c Microsiervos leo en Kript�polis un interesant�stimo art�culo de Fernando Acero sobre Avances en factorizaci�n entera.

Al parecer el Dr Hugo Scolnik est� perfeccionando un m�todo matem�tico para factorizar un n�mero primo en un tiempo casi polin�mico (aqu� habria que entrar en detalles m�s t�cnicos para ver hasta que punto es r�pido el m�todo). El art�culo es bastante t�cnico, pero da una idea clara de por donde se mueve y sobre todo asusta un poco atisbar el principio del fin del algoritmo RSA2048 que se usa en, por ejemplo, el e-dni que ahora nos estan implantando.

Programaci�n web por eventos

2007-11-04T17:54:00.000+01:00

Hace unos meses un profesor propuso que entre un grupo de doctorandos escribieramos un libro con el state of the art en cuanto a computaci�n distribuida. Un cap�tulo por autor con un tema a elegir. Yo escog�, por supuesto, un tema relacionado con aplicaciones web.

Los temas de Ajax creo que ya estan un poco pasados de moda como para considerarlos state of the art as� que opt� por el que creo que es el siguiente paso en la convergencia de aplicaciones de escritorio y aplicaciones web: la programaci�n por eventos, o como un servidor puede enviar un evento al cliente sin tener que esperar a que el cliente (navegador) inicie la comunicaci�n (como limita el protocolo HTTP).

El resultado es este cap�tulo que habla sobre lo que llamo gen�ricamente Web Push pero que habitualmente se est� llamando Comet en un intento (con �xito) de acu�ar otra palabra afortunada como fue Ajax.

El cap�tulo que os dejo introduce las limitaciones de las aplicaciones Web y algo de Ajax para ir entrar con m�s detalle en los retos que supone implementar un modelo por eventos en una plataforma que no lo permite en principio (la web actual). Los problemas que afrontan los servidores y finalmente qu� se est� haciendo para resolverlo y un vistazo a lo que viene.

Est� en ingl�s, espero que no resulte muy problem�tico.

Web Push [PDF, 309 KiB]

reCaptcha

2007-08-08T21:27:00.000+02:00

reCaptcha es un interesante proyecto de la Universidad de Carnegie-Mellon. En vez de "desperdiciar" tiempo de pensamiento humano resolviendo captchas ya establecidos este nuevo sistema aprovecha este efectivo mecanismo de defensa anti-spam para ayudar con la digitalizaci�n de libros y documentos.

Lo he instalado para proteger el foro de The Web Spain. A ver que tal funciona.

Awstats, Perl y Debian Etch

2007-07-12T16:50:00.000+02:00

Como parte de la migraci�n de nuestros servidores basados en Debian a la nueva versi�n estable Etch he aprovechado para poner un poco de orden en algunas configuraciones, entre ellas la de Awstats.

De los ficheros de configuraci�n el awstats.conf lo dejamos como base de configuraci�n que adem�s se ir� actualizando con el paquete. No lo editamos. En awstats.conf.local incluimos opciones de configuraci�n globales para todos los sites que se han de aplicar tras el anterior para sobreescribir valores. Finalmente para crear cada fichero de configuraci�n crearemos un awstats.www.dominio.com.conf bajo /etc/awstats que incluir� en la primera linia el fichero awstats.conf de manera que el orden de lectura y ejecuci�n de los ficheros de configuraci�n ser� el siguiente:

awstats.conf
awstats.conf.local
awstats.www.dominio.com.conf

Todo muy bonito, hasta que intento ejecutarlo y me sale:

Warning: Perl versions before 5.6 cannot handle nested includes

Me parece fant�stico, pero resulta que Etch lleva un Perl bastante superior a 5.6. Es un mensaje de error algo extra�o... podrian mirar la versi�n de Perl y decir que no puede o hacerlo si es superior a 5.6.

Tras buscar infructuosamente por la red he optado por un mecanismo algo directo pero sencillo... comentar estas cuatro lineas de c�digo del awstats.pl:

#if ($level > 1) {
# warning("Warning: Perl versions before 5.6 cannot handle nested includes");
# next;
#}

Y asunto solucionado.

El precio del desarrollo a medida

2007-03-01T18:44:00.000+01:00

Leo una interesante reflexi�n en Version Cero sobre el precio del software, a colaci�n de la reciente noticia publicada en barrapunto sobre el software bibliotecario de la comunidad de Madrid.

Por supuesto que yo apoye semejante comentario se da por supuesto. A�n as�, vale la pena reflexionar sobre este hecho: falta una cultura de respeto a la inform�tica en muchas empresas.

Rendimiento de software RAID sobre Linux (2)

2007-02-09T21:40:00.000+01:00

Continuamos las pruebas, ahora le toca el turno a el RAID10 sobre 4 discos (por si el n�mero par afecta en algo):

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 64797 96 119486 21 48358 12 61408 95 98698 13 430.2 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 2734 7 +++++ +++ 2172 4 3093 10 +++++ +++ 1695 5

Rendimiento (E/L): +77% / +34%

Configuraci�n con 4 discos en RAID1+0:

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 65864 98 114191 23 42419 11 59552 97 124150 21 495.5 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 3248 12 +++++ +++ 2530 7 3060 13 +++++ +++ 1801 6

Rendimiento (E/L): +69% / +69%

Para los interesados, esta configuraci�n la he construido con estas �rdenes:

mdadm --create -n 2 -l 1 /dev/md1 /dev/sdb2 /dev/sdd2 --size 5000000
mdadm --create -n 2 -l 1 /dev/md3 /dev/sdc2 /dev/sda2 --size 5000000
mdadm --create -n 2 -l 0 /dev/md4 /dev/md1 /dev/md3
mkfs.xfs /dev/md4 -f
mount /dev/md4 test

Y ahora una prueba que es la que realmente me ha pasado por la cabeza como candidata, y para la que he realizado las pruebas. Montar RAID1 + LVM con stripping para simular RAID0. Ya que de todas formas voy a utilizar LVM quiz�s pueda aprovecharlo para obtener un buen rendimiento con una excelente flexilibilidad:

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 66600 97 114477 24 44862 15 53496 95 120469 29 397.6 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 4115 24 +++++ +++ 4197 0 5103 28 +++++ +++ 1958 7

Rendimiento (E/L): +69% / +64%

Y finalmente poniendo todos los datos juntos, junto con la eficiencia de disco y el n�mero de discos usados:

RAID5(5): +47% / +113% / 80%
RAID1(5): -17% / -9% / 20%
RAID10(5): +108% / +77% / 50%
RAID10(4): +69% / +69% / 50%
RAID1+LVM(4): +69% / +64% / 50%

�Adivin�is el que he escogido?

Actualizado (9/2/07): adjunto tabla resumen.

Nivel RAID	Discos	Escritura	Lectura	% Espacio	% Escritura	% Lectura
N/A	1	67512	73633	100	100%	100%
5	5	99400	157120	80	147%	213%
1	5	55983	67411	20	83%	92%
10	5	140498	130574	50	208%	177%
10	4	119486	98698	50	177%	134%
1+0	4	114191	124150	50	169%	169%
1+lvm(0)	4	114477	120469	50	170%	164%

Estabilidad y rendimiento de software RAID en Linux

2007-02-09T20:37:00.000+01:00

Ha llegado el momento de renovar un servidor linux que, entre otras tareas, actua de servidor de ficheros. As� que necesita mucha capacidad y tambi�n un buen rendimiento. Los ficheros son pocos pero grandes. Hablamos de centenares de gigas, as� que se mueve mucha informaci�n mediante red gigabit.

Para el nuevo servidor quiero probar diferentes configuraciones de RAID y LVM en cuanto a rendimiento. Ya que he de hacerlo yo mismo, he pensado compartir los datos por si a alguien le sirven. Que quede claro que las pruebas no son en absoluto cientificas, sino una burda aproximaci�n para ayudar a tomar una decisi�n sobre la configuraci�n.

Primero, la configuraci�n hardware de la nueva m�quina:

Placa base: Asus A8V-E SE
Procesador: Athlon 64 X2 4600+ (2 x 2.4 GHz)
Memoria: 2 GB DDR 400 (dual channel)

En cuanto a discos, la placa dispone de 2 conectores SATA y 2 PATA. He a�adido una controladora PCI para 2 SATA adicionales (Conceptronic). Actualmente hay 5 discos duros, una mezcla variada. Como digo, la prueba dista de ser muy v�lida salvo como un ejemplo m�s. Hay discos de 300GiB y de 320GiB, de 8 y 16 MiB de cache y tanto PATA como SATA. Las marcas son Maxtor y Seagate.

Bien, lo primero es probar la estabilidad de la m�quina para comprobar placa, procesador, memoria, discos y controladoras. Para ello, utilizo el paquete stress de Debian. Por cierto que el sistema instalado es Debian Etch (en testing actualmente) utilizando el instalador RC1. La arquitectura escogida es AMD64. He actualizado al �ltimo kernel, 2.6.18.

La prueba de stress con m�ltiples trabajos de CPU, memoria, IO y disco ha funcionado sin problemas durante 10 horas seguidas (aunque la caja y la fuente de alimentaci�n se han calentado considerablemente).

Como sistema de ficheros utilizo XFS. Para las pruebas de rendimiento de disco hecho mano del paquete bonnie++.

Aqu� van los primeros resultados:

Configuraci�n con 5 discos en RAID5:

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 61606 95 99400 26 38831 16 53337 93 157120 43 511.5 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 1843 8 +++++ +++ 1732 7 1806 7 +++++ +++ 751 4

Configuraci�n con 5 discos en RAID1:

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 54048 80 55983 9 27978 5 63971 95 67411 6 645.1 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 3070 3 +++++ +++ 2462 0 2960 2 +++++ +++ 1023 2

Configuraci�n con 5 discos en RAID10:

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 66499 98 140498 24 48772 12 58759 90 130574 18 611.0 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 3313 9 +++++ +++ 2528 4 3658 9 +++++ +++ 2401 5

Bien. Obviamente en cuanto a espacio de disco RAID5 ofrece la mayor capacidad (N-1), RAID1 la peor (1) y RAID10 un t�rmino medio (aprox. N/2).

Para tener una referencia ejecuto el mismo test sobre uno s�lo de los discos:

Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ns1 4G 60706 92 67512 14 30783 5 55824 84 73633 5 212.6 0
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 375 2 +++++ +++ 299 1 358 2 +++++ +++ 208 1

En rendimiento un poco lo esperado. Para escritura / lectura:

RAID5: +47% / +113%
RAID1: -17% / -9%
RAID10: +108% / +77%

Continuar�...

Computaci�n cu�ntica (2)

2007-01-05T21:40:00.000+01:00

Hace ya tiempo publiqu� un art�culo que habia escrito durante la carrera sobre computaci�n cu�ntica. El art�culo era en catal�n y ahora finalmente Lupus se ha ofrecido para realizar la traducci�n del mismo para disfrute de m�s gente.

Aqu� el enlace al nuevo PDF.

Gracias Lupus!

RAID5 vs RAID10 (o RAID6...)

2006-12-13T12:49:00.000+01:00

En mis lecturas de diversos documentos relacionados con sistemas RAID he encontrado algunos detractores de los sistemas RAID5 frente a sistemas como RAID10 o otros.

Por ejemplo, este art�culo incluso viene en la documentaci�n del paquete 'mdadm' de Debian: RAID5 vs RAID10.

Para los interesados en discusiones sobre la idoneidad de tal o cual sistema RAID os aconsejo la p�gina web originaria del art�culo, BAARF.

Yo de momento a�n no me pronuncio... no lo veo del todo claro, pero estoy planteandome diversas opciones.

Manipulaci�n en batch de videos

2006-09-20T18:15:00.000+02:00

Creo que todo el mundo puede coincidir que las herramientas b�sicas de todo Linux (ls, cat, find, xargs, ...) resultan realmente impresionantes. Especialmente en manos expertas. NO es mi caso.

Sin embargo creo que resulta �til ir aprendiendo a combinar diversas herramientas. Ayer me asalt� un problema y vi la oportunidad de resolverlo f�cilmente con estas herramientas y, porque no, practicar un poco al respecto.

El problema era el siguiente: disponia de alrededor de 25 videos en formato AVI m�s otros 25 ficheros MP3 con una pista de audio para dichos videos. Los videos ya venian con dos pistas de audio, pero yo queria esa tercera pista (que tenia en un fichero externo).

El primer objectivo era, por tanto, generar nuevos ficheros de video con la pista de audio deseada.

Adem�s, los nombres de los ficheros contenian un exceso de caracteres bastante alto. �Podria aprovechar para limpiar un poco los nombres de los ficheros?

Los nombres seguian m�s o menos el siguiente formato:

aaaaaaaaaaaaaaaaaa DxDD bbbbbbbbbbbbb [ccccccccc] ddddddddddddd.avi (o.mp3)

Donde 'aaaaa' era una cadena de car�cteres fija para todos los ficheros, D eran n�meros diferentes para cada video, y los otros 4 grupos (b, c y d) eran diversos car�cteres alfanum�ricos.

Lo primero es eliminar el prefijo com�n. F�cil, usamos el comando 'rename' con una expresi�n regular de sustituci�n de Perl:

rename 's/aaaaaaaaaaaaaaaa //' *.avi

Idem para los ficheros de audio. Con 'rename' podemos usar adem�s la opci�n -n para simular como se renombraran los ficheros antes de hacerlo realmente.

Ahora el objetivo es dejar s�lo los archivos con el siguiente formato:

DxDD bbbbbbbbbbbbb.avi

Para lo cual podemos usar de nuevo 'rename' con una expresi�n regular algo m�s complicada.

rename 's/(\dx\d\d[\w\s]+)\s\[.*\.(\w{3})$/$1.$2/' *

B�sicamente capturamos el DxDD y los car�cteres posteriores hasta el primer [, y lo guardamos para poder repetirlo luego (entre par�ntesis). Luego capturamos el resto y guardamos finalmente la extensi�n (los 3 �ltimos car�cteres tras el punto). Todo esto simplemente es convierte en $1.$2, o sea la primera parte capturada, un punto y la segunda.

Bien, ya tenemos los ficheros de audio y video con los nombre de fichero 'limpios'. Ahora, usamos FFmpeg para remultiplexar los videos con el nuevo audio. La idea es hacer algo como esto:

ffmpeg -i 'DxDD aaaaaaa.avi' -i 'DxDD aaaaaaa.mp3' -vcodec copy -acodec copy -map 0.0:0.0 -map 1.0:0.1 'DxDD aaaaaaaa mmm.avi'

B�sicamente esta orden genera un avi sin modificar el audio ni el video, pero cambiando los canales de audio (opciones -map). Al resultado adem�s queremos a�adir un string fijo 'mmm'. Adem�s tenemos que ejecutar la orden para cada uno de los 25 videos.

El resultado se consigue con una combinaci�n de comandos: ls, cut y xargs.

ls -w1 *.avi | cut -d. -f1 | xargs -I '{}' ffmpeg -i '{}'.avi -i '{}'.mp3 -vcodec copy -acodec copy -map 0.0:0.0 -map 1.0:0.1 '{} mmm.avi'

�Prueba superada!

Discos de repuesto

2006-08-11T17:55:00.000+02:00

Soy bastante paranoico, lo se. Quiz�s tenga raz�n. As� que al montaje que ya tenia en mi servidor he a�adido recientemente otro disco duro m�s que actua como disco de repuesto (spare disk).

Previamente habian 3 discos de 300G y he a�adido otro igual. Para hacer la partici�n id�ntica he utilizado sfdisk. Con una orden para extraer la partici�n de un integrante actual del RAID:

sfdisk -d /dev/sda > sda

Y otra orden para aplicar el mismo esquema al nuevo disco (sdb):

sfdisk /dev/sdb <>

Y ahora tan s�lo nos queda a�adir las diferentes particiones. Se utiliza la misma orden siempre, tanto para a�adir discos que reemplazan a defectuosos como en este caso discos de repuesto. El sistema mdadm conoce el tama�o del array y cualquier dispositivo adicional que se incluya se convierte autom�ticamente en un repuesto. Por tanto:

mdadm --add /dev/md0 /dev/sda1

El resultado final queda plasmado con la salida de /proc/mdstat:

Personalities : [raid5] [raid4] [raid1]
md0 : active raid1 sdb1[3](S) sda1[0] hdg1[2] hdc1[1]
96256 blocks [3/3] [UUU]

md1 : active raid5 sdb2[3](S) sda2[0] hdg2[2] hdc2[1]
979712 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]

md2 : active raid5 sdb3[3](S) sda3[0] hdg3[2] hdc3[1]
584926464 blocks level 5, 64k chunk, algorithm 2 [3/3] [UUU]

unused devices:

Crash test

2006-08-09T18:14:00.000+02:00

Pese a que no tiene que ver con los temas que suelo tratar aqu�, creo que este post merece la pena para quien quiera saber lo que pasa en los poco m�s de 100 milisegundos siguientes a un impacto con el coche.

El hilo entero es muy interesante y otros blogs ya se estan haciendo eco de �l. Ahora no recuerdo ninguna referencia.

Y fall� un disco

2006-08-04T11:41:00.000+02:00

O... la prueba real de la configuraci�n RAID de mi servidor.

Pues si, el primer disco (hda) de los tres que componen el RAID5 (hda,hdc,hdg) ha dicho que no quiere trabajar m�s. Sin problemas, recibo un email del monitor de RAID avis�ndome que el disco est� fallando y lo saca del RAID.

Bien, el siguiente paso l�gico es comprar un nuevo disco para sustituir al afectado. Voy a comprar otro disco de 300G pero s�lo encuentro SATA. No importa, le enchufo una controlador SATA PCI, le conecto el nuevo disco (sda), quito el defectuoso (hda) y arranco de nuevo la m�quina... y no arranca.

Momento de p�nico...

Bien, no aparece nada en pantalla, o sea no carga ni el bootloader (GRUB). As� que sospecho que el problema est� en que justamente ha fallado el disco principal (hda). Lo vuelvo a conectar y por suerte el disco no estaba totalmente irrecuperable y logro arrancar el sistema de nuevo.

Al parecer lo que indiqu� en el art�culo anterior no es del todo correcto. Curiosamente cre� haberlo probado convenientemente. Al final mediante el wiki de Gentoo (aunque uso Debian) prob� el mecanismo alternativo de configurar GRUB. Arranqu� y funcion�.

As� que tengo dos teorias:

El procedimiento que utilic� originalmente no es correcto y lo prob� mal.
El procedimiento original era correcto pero con los cambios de kernel y actualizaciones autom�ticas del GRUB se deber�a volver a ejecutar con cada actualizaci�n de kernel.

�Alguna idea?

Movil y gasolinera

2006-06-05T12:01:00.000+02:00

Vamos a ver. �No se suponia que no debemos utilizar el tel�fono movil ni aparatos electr�nicos en las inmediaciones de una gasolinera?

Entonces como puedo leer esto: Repsol pone en marcha Internet sin cables en sus gasolineras

Via ALT1040

Backups personales: �obsesi�n o necesidad?

2006-05-21T13:17:00.000+02:00

Llego a trav�s de Microsiervos a un art�culo de Mark Pilgrim sobre copias de seguridad a largo plazo. Aunque yo no genero tanta informaci�n como esta persona (que b�sicamente veo que es un problema de video digital) estoy igualmente preocupado por el tema.

Sin embargo Mark enfoca el problema desde un punto de vista de archivo de datos. Si bien la persistencia de datos a largo plazo es importante, creo que vista la evoluci�n de la tecnologia es m�s f�cil (y econ�mico) mantener siempre todos los datos disponibles.

La idea es no tanto ir haciendo copias de seguridad y guardarlas protegidas, como crear una infraestructura para ir acumulando los datos. Una infraestructura suficientemente escalable, por supuesto.

Mi complejo (creo que excesivamente a veces) sistema de copias de seguridad funciona m�s o menos as�:

Dispongo de un equipo de trabajo habitual bajo Windows XP con un s�lo disco duro de 74 GB (un WD Raptor). Tambi�n un servidor dom�stico bajo Linux que ofrece servicios de conexi�n a internet, cortafuegos, servidor de ficheros, etc. Este servidor funciona actualmente con 3 discos de 300 GB en RAID5 (o sea unos 600 GB de almacenamiento).

En el linux ejecuto el software BackupPC del que ya he hablado anteriormente. Eso mantiene copias de seguridad del PC con Windows sobre los discos RAID del Linux.

Mediante alertas en mi Palm Tungsten T3 programo copias de seguridad de este repositorio en DVD. Tengo dos alertas, una para copias que dejo en un armario y otra para copias que llevo a casa de mis padres. Actualmente hago una copia al mes y consume 4 DVD-R.

Con estas copias s�lo cubro documentos y algunas otras cosas. Todo muy importante, por supuesto, pero no de gran tama�o. Es m�s la copia de seguridad �til para restaurar el sistema tras alg�n desastre.

En el servidor tambi�n guardo, por ejemplo, todas las fotos digitales que voy haciendo. Eso son m�s de 20 GB actualmente. Seria el equivalente a los videos de Mark pero en otra escala. La idea es no tener que grabarlos a DVD... �para que? Lo �nico que hago es, adem�s de tenerlo en el Linux con RAID, replicar todo el directorio de fotos con rsync via internet a un servidor remoto.

Con lo cual para solucionar su problema s�lo necesita 2 servidores. Puede configurarse un Linux con RAID + LVM. Con LVM podr� ir a�adiendo discos en el futuro. Podria empezar por 3 discos de 750GB por ejemplo. Ya tendria 1'5 TB. Entre s� puede sincronizarse con rsync en segundo plano con ancho de banda controlado (para no saturar su conexi�n). Cuando llene los discos no tiene m�s que a�adir 3 discos del tama�o que exista en ese momento y opcionalmente quitar los otros tras el cambio (es factible de hacer con LVM escogiendo un fs adecuado). Podria ser perfectamente posible disponer de 3 discos de 3 TB en unos pocos a�os, pasando de 1'5 TB a 6 TB. Por un precio "razonable".

�Alg�n otro paranoico de las copias de seguridad?

Poniendo precio a un proyecto

2006-05-04T10:15:00.000+02:00

Todos los que alguna vez os hay�is visto en la tesitura de realizar un presupuesto para un proyecto inform�tico sab�is lo complicado que resulta. A lo largo de mi carrera profesional me he ido formando ciertas ideas y actualmente la experiencia me recomienda una valoraci�n por horas abierta de cara al cliente.

As� que al leer este art�culo me ha sorprendido encontrar reflejadas muchas de mis ideas.

Actualmente yo de manera profesional y en mi empresa intento transmitir al cliente las ventajas de un proyecto realizado por horas, con iteraciones cortas y un r�pido feedback con el cliente. Muchas ideas extra�das de la XP.

Traducci�n del howto de LVM

2006-04-25T09:59:00.000+02:00

Leo en Barrapunto que est� disponible la traducci�n al espa�ol del howto de LVM.

Cuidado con el art�culo que hace menci�n a que se puede ampliar o reducir los vol�menes en caliente y eso no es siempre cierto (depende del sistema de ficheros). Algunos hay que desmontarlos (la mayor�a) y pocos permiten reducir el tama�o (como xfs).

Comparativa de sistemas de ficheros

2006-04-21T13:22:00.000+02:00

Leo en Debian Administrator una interesante compartiva sobre los sistemas de ficheros disponibles para Linux (kernel 2.6).

Parece que el ganador general es xfs , pero como siempre cada uno tiene sus ventajas e inconvenientes.

LVM

2006-04-20T19:58:00.000+02:00

El Logical Volume Manager es uno de esos inventos inteligentes que creo ya han madurado lo suficiente para ser utilizados realmente. Y digo esto porque soy muy reacio a tecnologias muy nuevas cuando m�s "abajo" vayamos en la arquitectura de un sistema... y los sistemas de ficheros me parecen algo muy muy delicado!

Montando un LVM para un cliente resulta que para a�adir espacio de disco (una de las principales razones para usar LVM!) le a�adimos un cuarto disco duro IDE (/dev/hdd) al �nico "volume group" existente.

El problema ha venido tras un fallo de red que ha oblidado a reiniciar el sistema... mensaje fat�dico:

Couldn't find device with uuid 'pAwTBA-RnrP-6Zhe-FmDc-mR0I-6Rtp-wvrt2J'

Vaya problema. Hago un pvscan para ver los vol�menes f�sicos:

linux2:/etc/lvm# pvscan
Couldn't find device with uuid 'pAwTBA-RnrP-6Zhe-FmDc-mR0I-6Rtp-wvrt2J'.
PV /dev/md3 VG data lvm2 [220.97 GB / 0 free]
PV unknown device VG data lvm2 [279.46 GB / 195.43 GB free]
Total: 2 [500.43 GB] / in use: 2 [500.43 GB] / in no VG: 0 [0 ]

El segundo deber�a ser /dev/hdd !

Curiosamente el disco si tiene el uuid correcto:

linux2:~/uuid_fixer# pvdisplay /dev/hdd
--- Physical volume ---
PV Name /dev/hdd
VG Name data
PV Size 279.46 GB / not usable 0
Allocatable yes
PE Size (KByte) 4096
Total PE 71541
Free PE 50029
Allocated PE 21512
PV UUID pAwTBA-RnrP-6Zhe-FmDc-mR0I-6Rtp-wvrt2J

�C�mo es posible?

Al final ha resultado que /dev/hdd era tambi�n /dev/cdrom y este �ltimo dispositivo no era revisado por el lvm seg�n la configuraci�n de /etc/lvm.conf. Eliminando esta limitaci�n todo ha vuelto a funcionar correctamente.

Comprar barato

2006-03-27T10:06:00.000+02:00

Cuanta raz�n, y c�mo conviene descubrir esto lo antes posible:

"Quiero un producto de calidad que dure y que no me d� problemas. Quiero una garant�a y un servicio eficiente. Quiero llegar a casa y que las cosa funcionen. Antes no ten�a dinero pero ten�a tiempo para coger un destornillador e irme a la tienda a amenazar al vendedor. Ahora tengo dinero pero no tengo tiempo, y prefiero gastarme un poco m�s comprando tranquilidad."

V�a | El Sentido de la Vida

Debian RAID

2006-03-09T17:49:00.000+01:00

En mi despacho en casa dispongo de un servidor Debian Linux que hace multitud de tareas. Desde conexi�n a internet con cortafuegos (iptables), servidor de ficheros (samba), backups (backuppc), gesti�n de la red (bind, dhcp), copias de seguridad entre servidores (rsync), descargas p2p (mldonkey) y muchas m�s cosas que seguro que me olvido ahora mismo.

Se trata de un simple PC, concretamente mi antiguo PC ahora que tengo mi flamante Athlon. Dispone de un disco duro de 160G pero que esta muy justo y ya lo he tenido que cambiar una vez porque pet� (y ~~perd� los datos~~ tuve que recurrir a las copias de seguridad, que le vamos a hacer).

Por eso he optado por reinstalar el sistema con mayor capacidad y, sobre todo, fiabilidad. He comprado 3 discos duros de 300G y la idea es montarlo todo sobre RAID.

Antes de ponerme con el servidor, he pillado un PC que hab�a por aqu� y lo he utilizado para hacer pruebas (con los 3 discos intentar instalar un Debian).

Tras muchas b�squedas por internet parece que lo de poner un RAID para todas las partes del sistema, especialmente el arranque, no es f�cil. M�s a�n ya que yo quiero RAID 5 para disponer de 600G efectivos de capacidad.

Bien, la configuraci�n que me ha quedado finalmente es la siguiente:

Todos los discos con estas 3 particiones:

100M
500M
resto (unos 298G)

Con esto construyo tres unidades RAID:

/dev/md0 en RAID1 con las tres particiones de 100M para /boot (100M)
/dev/md1 en RAID5 con las tres particiones de 500M para swap (1G)
/dev/md2 en RAID5 con las tres particiones de 298G para / (597G)

Bien, la primera en la frente: pese a lo que pod�is leer por ah�, el Debian Installer no lo tiene tan sencillo para instalar un sistema sobre RAID. Primero prob� con el �ltimo nightly build que en este momento era la beta 2 de Etch. Lo instalaba pero no arrancaba (al parecer generaba mal el initrd). El instalador de la versi�n Sarge (estable) tampoco funciona, parec�a que si pero al arrancar no podia montar los RAIDs. Finalmente el instalador que me ha funcionado ha sido el Etch beta 1.

�Cual es el problema de instalar y arrancar sobre RAID?

El problema est� b�sicamente en que habitualmente el kernel carga los m�dulos de RAID (md, raid1, raid5) como eso... m�dulos. Por tanto, ha de leerlos de disco... c�rculo vicioso. Hay dos soluciones posibles: compilar un kernel con soporte incluido de RAID o crear un ramdisk con los m�dulos para que se pueda cargar.

Otro problema es que tanto la imagen del kernel como el ramdisk estan en /boot as� que ... �como vamos a poner eso en RAID?
La respuesta es que en realidad no podemos... Sin embargo, tanto LILO como GRUB tienen soporte b�sico para RAID1 porque en realidad un RAID1 hace que todos los discos tengan lo mismo. De ah� que /boot sea un RAID1 y no un RAID5. Y s�, RAID1 no es exclusivo de 2 discos... puedes hacerlo sobre el n�mero de discos que quieras.

As� que lanzando el Debian Installer simplemente hemos de particionar manualmente los discos con, seg�n mi ejemplo, las tres particiones iguales en los tres discos. Luego, generamos los 3 dispositivos md y les asignamos los sistemas de ficheros correspondientes.

Con esto ya tenemos la redundancia que quer�amos. Sin embargo, el gestor de arranque (en mi caso GRUB) s�lo est� instalado en el MBR del primer disco. Eso hace que si falla el primer disco, no podamos arrancar el sistema. Para solucionar esto nada m�s sencillo que marcar los otros MBR con el grub. Simplemente al arrancar el sistema normalmente entramos en el prompt de grub (ejecutando 'grub' como root) y ejecutamos los siguientes comandos:

root (hd1,0)
setup (hd1)
root (hd2,0)
setup (hd2)
quit

Lo �nico que nos falta es que, seg�n las prueba de stress que he ido realizando (en plan parar discos) hay veces que el RAID parece 'olvidar' un disco pese a que lo volvemos a reconectar. Supongo que es un mecanismo de seguridad. El procedimiento para a�adir una partici�n a un dispositivo es, sin embargo, muy sencillo:

Lo primero es comprobar el estado en /proc/mdstat o con la orden

mdadm -QD /dev/mdX

Y para a�adir las particiones que nos falten:

mdadm --manage -a /dev/md2 /dev/hda3

�Suerte con vuestros intentos!