Expresiones regulares

Las expresiones regulares son un medio para describir patrones de texto. Imaginemos que no sólo queremos buscar en un texto todas las líneas que contienen una palabra, como por ejemplo Barcelona, sino que sólo nos interesan las líneas que empiezan por la palabra Barcelona, pero no las que contengan la palabra en cualquier otra posición. Describir el patrón “Barcelona” es trivial, tan sólo hay que escribir “Barcelona”, pero ¿cómo podemos describir “La línea comienza por la palabra Barcelona”. Las expresiones regulares permiten describir este tipo de patrones de texto y muchos más por lo que nos serán de una gran utilidad. Además en Unix las expresiones regulares tienen un amplio soporte, tanto en las herramientas de procesamiento de ficheros de texto (grep), o en los editores de texto (vi, emacs) como en los lenguajes de programación (Perl, Python). El único inconveniente de las expresiones regulares es que su sintaxis no es trivial y que además varía ligeramente entre distintas herramientas.

En la web hay varios sitios en los que se pueden probar las expresiones regulares, como por ejemplo regex101.

Las expresiones regulares se evalúan carácter a carácter. Las más básicas son simplemente una lista de letras que forman una texto que debe coincidir exactamente con lo que buscamos. Por ejemplo con la expresión “Human” sólo coincidirá “Human”. Pero por fortuna las expresiones regulares nos permiten hacer búsquedas y substituciones mucho más complejas.

Expresiones alternativas

Una expresión u otra. Imaginemos que tenemos un fichero con los orígenes de los pacientes de un estudio sobre síndrome de Usher. Queremos seleccionar todos los pacientes que vienen de Valencia o Castellón. Podemos hacerlo utilizando la sintaxis para expresiones alternativas:

  ~$ grep -E 'Valencia|Castellón' origenes.txt
  almeria Meliá Valencia sano
  Valencia	Paniagua	Castellón	usher1B
  Castellón	Sogorb	valencia	usher2B
  Granada Bastella Valencia sana

La barra vertical (|) separa las expresiones alternativas. En este caso significa que la palabra encontrada puede ser Valencia o Castellón.

Contenedores

En muchas ocasiones nos interesa seleccionar patrones que pueden tener en una posición varias letras distintas. Por ejemplo podríamos describir el patrón “comienza por Usher y después tiene un número” o “comienza por usher y después tiene un par de letras”. Busquemos todas las líneas que tienen la palabra Usher o usher:

  ~$ grep -E --color '[uU]sher' origenes.txt
  Hospital	apellido_paciente	Biobanco	Tipo_Usher
  Barcelona	Castells	Barcelona	Usher2A
  ...

Al poner las letras entre corchetes indicamos que el carácter que aparezca en esa posición puede ser cualquiera de los caracteres indicados. En este caso la expresión coincidente podría ser Usher u usher.

Utilizando esta técnica podemos también indicar rangos de caracteres, como por ejemplo “aquellos con Usher tipo 0,1 ó 2”:

  ~$ grep -E --color '[uU]sher[0-2]' origenes.txt
  Barcelona	Castells	Barcelona	Usher2A
  Mallorca	Pagan	Barcelona	usher1b
  ...

Existen rangos y tipos de caracteres predefinidos que podemos utilizar como:

POSIX	ASCII	Significado
[:alnum:]	[A-Za-z0-9]	Caracteres alfanuméricos (letras y números)
[:word:]	[A-Za-z0-9_]	Caracteres alfanuméricos y “_”
[:alpha:]	[A-Za-z]	Caracteres alfabéticos
[:blank:]	[ \t]	Espacio y tabulador
[:space:]	[ \t\r\n\v\f]	Espacios
[:digit:]	[0-9]	Dígitos
[:lower:]	[a-z]	Letras minúsculas
[:upper:]	[A-Z]	Letras mayúsculas
[:punct:]	[][!”#$%&’()*+,./:;<=>?@\^_`{\|}~-]	Caracteres de puntuación

Por ejemplo, podríamos seleccionar cualquier dígito o letra:

~$ grep --color -E '[uU]she[[:alpha:]]' origenes.txt

Si nos da igual que en una posición haya un carácter u otro podemos utilizar un punto (.). Por ejemplo, seleccionar aquellos individuos con subtipo A o B:

  ~$ grep --color -E '[Uu]sher.[[:alpha:]]' origenes.txt
  Barcelona	Castells	Barcelona	Usher2A
  Mallorca	Pagan	Barcelona	usher1b
  ...

Dentro de los contenedores resultan también bastante útiles las negaciones. Podemos, por ejemplo, seleccionar cualquier carácter que no sea un 2 o un 3 añadiendo “^” tras el primer corchete:

  ~$ grep --color -E 'sher[^23]' origenes.txt
  Mallorca	Pagan	Barcelona	usher1b
  madrid	Cardosa	madrid	usher1a
  Valencia	Paniagua	Castellón	usher1B

Cuantificadores

Además de indicar qué caracteres queremos permitir podemos seleccionar cuantas veces deben aparecer. Si no añadimos nada que indique lo contrario se asume que el carácter debe aparecer una vez, pero podríamos pedir que el carácter aparezca un número distinto de veces:

”?”, el carácter aparece ninguna o una vez. “usher1?” coincidiría con “usher” o “usher1”.
”*”, cero, una o varias veces.
”+”, al menos una vez.
“{4}”, cuatro veces.

“{4,10}”, entre 4 y 10 veces

~$ grep --color -E 'sher2.?' origenes.txt
Barcelona	Castells	Barcelona	Usher2A
Albacete	Blanca	Madrid	usher2
Castellón	Sogorb	valencia	usher2B

Puntos de anclaje

Además de poder indicar qué y cuántas veces queremos que algo aparezca podemos indicar dónde deseamos que lo haga. Los puntos de anclaje más utilizados son:

”^”, inicio de línea
”$”, fin de línea
”<”, principio de palabra
”>”, fin de palabra
“\b”, límite de palabra

Líneas que comienzan por B:

  ~$ grep --color -E '^B' origenes.txt
  Barcelona	Castells	Barcelona	Usher2A

Líneas que terminan por B:

  ~$ grep --color -E 'B$' origenes.txt
  Valencia	Paniagua	Castellón	usher1B
  Castellón	Sogorb	valencia	usher2B

Sustituciones

Las expresiones regulares además de ser útiles para buscar patrones sirven para sustituirlos. Por ejemplo podemos sustituir madrid por Madrid con el siguiente comando:

 ~$ sed -r 's/madrid/Madrid/' origenes.txt
 ...
 Albacete	Blanca	Madrid	usher2
 Madrid	Cardosa	madrid	usher1a
 ...

Ya vimos que si queríamos que la expresión se utilizase más de una vez en cada línea debíamos utilizar el modificador “g”:

  ~$ sed -r 's/madrid/Madrid/g' origenes.txt
  ...
  Albacete	Blanca	Madrid	usher2
  Madrid	Cardosa	Madrid	usher1a
  ...

Estas sustituciones además de soportar los patrones sencillos soportan todo lo que hemos visto anteriormente. Por ejemplo, podemos eliminar la primera columna del fichero con el comando:

  ~$ sed -r 's/^[[:alnum:]]*\t//' origenes.txt
  apellido_paciente	Biobanco	Tipo_Usher
  Castells	Barcelona	Usher2A
  ...

Si lo que queremos es guardar el patrón encontrado para utilizarlo en la sustitución debemos utilizar paréntesis. Los paréntesis indican que lo que hay dentro de ellos debe ser recordado para poder utilizado en la substitución. Por ejemplo, podríamos permutar las columnas 1 y 2 del fichero con el comando:

  ~$ sed -r 's/^([[:alnum:]]*)\t([[:alnum:]_]*)/\2\t\1/' origenes.txt

Escapes

Algunos caracteres tienen significados especiales, como ., $, (, ), [, ], \ o ^ y si se quieren utilizar hay que escaparlos precediéndolos con .

El campo de las expresiones regulares es muy amplio y esta pequeña introducción sólo ha pretendido mostrar algunas de las posibilidades de esta gran herramienta. El mejor modo de aprender a utilizarlas es intentar hacer uso de ellas en problemas concretos y echar una ojeada a algunos de los libros y tutoriales que se han escrito sobre ellas.

Ejercicios

Buscar las líneas en las que aparece la palabra bash en el archivo /etc/passwd.
Buscar en el archivo /etc/group todas las líneas que empiezan por m.
En el fichero anterior imprimir todas las líneas que no empiezan por m.
¿Cuántos ficheros README hay en los subdirectorios de /usr/share/doc?
¿Qué ficheros o directorios en /etc continen un número en el nombre?

Trabajando con el fichero de los orígenes de los pacientes de Usher resolver las siguientes cuestiones.

Seleccionar los pacientes enviados por el hospital de Castellón.
Seleccionar los que vienen del Biobanco de Barcelona.
Buscar los pacientes que no tienen Usher3.
En el fichero de pacientes de Usher hay algunas líneas separadas por espacios y otras por tabuladores, cambiar todos los separadores a comas.

Disponemos de un fichero con una caracterización morfológica de unas plantas.

Recuperar aquellas plantas numeradas con 1 o con 3 dígitos.
Añadir ceros al identificador de las plantas para que tengan todos 3 dígitos.
Construir un nuevo fichero que incluya solo las filas sin datos faltantes.

Soluciones

Buscar las líneas en las que aparece la palabra bash en el archivo /etc/passwd.

~$ grep 'bash' /etc/passwd

Buscar en el archivo /etc/group todas las líneas que empiezan por m.

~$ grep '^m' /etc/group

En el fichero anterior imprimir todas las líneas que no empiezan por m.

~$ grep -v '^m' /etc/group

¿Cuántos ficheros README hay en los subdirectorios de /usr/share/doc?

~$ ls -R /usr/share/doc | grep '^README$' | wc -l

¿Qué ficheros o directorios en /etc continen un número en el nombre?

~$ ls /etc/ | grep '[0-9]'

Seleccionar los pacientes enviados por el hospital de Castellón.

~$ grep --color -E '^[cC]astell[oó]n' origenes.txt

~$ grep --color -iE '^castell[oó]n' origenes.txt

Seleccionar los que vienen del Biobanco de Barcelona.

~$ grep --color -iE '.Barcelona' origenes.txt

Buscar los pacientes que no tienen Usher3.

~$ grep --color -iE 'usher[^3]' origenes.txt

En el fichero de pacientes de Usher hay algunas líneas separadas por espacios y otras por tabuladores, cambiar todos los separadores a comas.

~$ sed -r 's/[[:blank:]]+/,/g' origenes.txt

Recuperar aquellas plantas numeradas con 1 o con 3 dígitos.

  ~$ grep --color -E 't[0-9]{1} |t[0-9]{3} ' caracterizacion_plantas.txt

Añadir ceros al identificador de las plantas para que tengan todos 3 dígitos.

  ~$ sed -r 's/t([0-9]{1}) /t00\1 /g' caracterizacion_plantas.txt | sed -r 's/t([0-9]{2}) /t0\1 /g'

Construir un nuevo fichero que incluya solo las filas sin datos faltantes.

  ~$ grep -iE 'plant[0-9]* [0-9]+\.?[0-9]* [0-9]+\.?[0-9]* [0-9]+\.?[0-9]*' numbers.txt

O con una versión más sencilla:

  ~$ grep --color -iE '^plant[0-9]*( [0-9]\.[0-9]){3}' numbers.txt

Bibliografía

Mastering regular expressions por Jeffrey E.F. Friedl.
Regular Expressions Cookbook por Jan Goyvaerts y Steven Levithan.
Regular Expressions User Guide.
Regular Expression Tutorial.

Última actualización el Jan 31, 2021

Edit this page