MySQL Query Log

Posted on 20 noviembre, 2018 by José Pérez Martínez

Introducción

En ocasiones queremos depurar qué consulta se ejecuta de forma efectiva en la base de datos (por ejemplo al usar consultas preparadas o un ORM) y la forma de hacer cuando usamos como SGBD MySQL es activar el General Query Log.

Este Log es un registro de las consultas que va ejecutando el servidor MySQL. Además, hay que tener presente que este log se debe activar sólo cuando estamos depurando una funcionalidad puntual pues en servidores muy activos puede crecer hasta alcanzar un gran tamaño.

Uso de General Query Log

Lo primero es editar el firchero my.cnf (o my.ini en windows) y buscar la sección [mysqld]. En ella pondremos las opciones:

general_log_file = /path/to/query.log
general_log      = 1

Tras reiniciar el servidor mysql, podemos abrir el fichero de log y ejecutar varias consultas:

$ mysql -uroot mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 212
Server version: 5.7.21 MySQL Community Server (GPL)

Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> select User, Host from user;
+---------------+-----------+
| User          | Host      |
+---------------+-----------+
| tienda        | %         |
| mysql.session | localhost |
| mysql.sys     | localhost |
| root          | localhost |
+---------------+-----------+
4 rows in set (0.00 sec)

El fichero de log generado por el servidor contiene:


wampmysqld, Version: 5.7.21-log (MySQL Community Server (GPL)). started with:
TCP Port: 3306, Named Pipe: /tmp/mysql.sock
Time                 Id Command    Argument
2018-11-20T10:55:09.930402Z	    2 Connect	root@localhost on mysql using TCP/IP
2018-11-20T10:55:09.934477Z	    2 Query	select @@version_comment limit 1
2018-11-20T10:55:20.218671Z	    2 Query	select User, Host from user
2018-11-20T10:55:21.721707Z	    2 Quit

Y estas son las sentencias que se ejecutan en MySQL.

Referencias

https://dev.mysql.com/doc/refman/5.6/en/query-log.html

Importar/exportar datos en MySQL

Posted on 5 noviembre, 2018 by José Pérez Martínez

Introducción

Tenemos una tabla marcas como la siguiente, ¿cómo podemos exportarla?

SELECT * FROM `marcas`

id_marca nombre       url  avatar 
1        Zara         NULL NULL 
2        Woman Secret NULL NULL 
3        New Look     NULL NULL

Soluciones

Exportar con mysqldump

$ mysqldump -ubasedatos -pcontraseña --extended-insert=false --hex-blob nombrebasededatos > volcado.sql

Exportar con SELECT … INTO OUTFILE

Opciones

[FIELDS
[TERMINATED BY '\t']
[[OPTIONALLY] ENCLOSED BY '']
[ESCAPED BY '\\' ]
]
[LINES
[STARTING BY '']
[TERMINATED BY '\n']
]

Ejemplo:

SELECT * INTO OUTFILE '/path/to/result.txt'
FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
FROM marcas;

Importar fichero SQL

$ mysql -ubasedatos -pcontraseña nombrebasededatos < volcado.sql

Importar datos con LOAD DATA INFILE

LOAD DATA sirve para tomar cualquier archivo “comma-separated” (separado por comas, aunque no necesariamente son comas) y cargarlo como datos en alguna tabla de MySQL.Un ejemplo para recuperar los datos anteriores:

LOAD DATA LOCAL INFILE '/path/to/result.txt'
INTO TABLE marcas
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n' (id_marca, nombre, url, avatar );

Referencias

Modificar puerto HTTP para Oracle XE

Posted on 5 noviembre, 2018 by José Pérez Martínez

Problema

Cuando se instala el SGBD Oracle XE para desarrollo en un entorno local se instala con un servidor de aplicaciones desplegado en el puerto 8080. Este comportamiento es muy molesto cuando queremos usar un servidor tomcat o desplegar aplicaciones spring boot.

Pero es muy sencillo de arreglar, basta abrir una sesión en sqlplus y ejectuar el comando (EXEC DBMS_XDB.SETHTTPPORT(numero_puerto)):

$ sqplus system/XE

SQL*Plus ...
SQL> Exec DBMS_XDB.SETHTTPPORT(9090);
PL/SQL procedure sucessfully completed.

OJO: si queremos deshabilitar el servidor:

EXEC DBMS_XDB.SETHTTPPORT(0)

Referencias:

Referencias vistas el 24 de sep de 2018:

Audit Log con Entity Framework (.NET)

Posted on 5 noviembre, 2018 by José Pérez Martínez

Introducción

Cuando desarrollamos aplicaciones de una cierta envergadura debemos de plantearnos usar ciertos patrones de diseño que garantizen la escalabilidad, robustez, tolerancia a fallos y auditen nuestra aplicación.

Vamos a ver cómo usar el patrón Audit Log para auditar los eventos y operaciones de la aplicación.

Un audit log es un registro de las acciones que ocurren sobre una aplicación con unos datos (una entidad, una colección, un VO, …) y registra cuando ocurre una operación, quien ha sido el responsable, qué operación ha realizado y se puede incluir la información modificada (en su estado inicial y el modificado).

Para leer más sobre audit log leer el enlace adjunto de Martin Fowler.

Otro de los problemas cubiertos en esta entrada es cómo obtener el nombre de la tabla / vista de una entidad en entity framework.

Caso

Supongamos que tenemos una tabla PRODUCTOS sobre un SGBD Oracle y hemos desarrollado una aplicación basada en microservicios con .NET. Además hemos decidido utilizar el ORM Entity Framework como capa de abstracción para el acceso a datos.

Problemas que se presentan:

Cómo usamos un ORM contra un SGB, ¿cómo obtener el nombre de la tabla?
¿Cómo implemento el audit log

Solución

Obtener el nombre de la tabla en EF

En Entity Framework, al definir una clase como una entidad de base de datos se anota con el decorador Table para indicar la tabla de base de datos (sino se llama igual que la clase), por ejemplo:

[Table("PRODUCTOS", Schema = "MI_BASE_DE_DATOS")]
public partial class Producto
{
    [Key]
    public int Id { get; set; }
    [StringLength(100)]
    public string Nombre { get; set; }
    ...
}

Esta clase representa nuestro producto mapeado em la base de datos. Al ser una entidad, si hacesmos un ToString() sobre su tipo, obtenemos el SQL que infiere Entity Framework para realizar consultas:

Set(typeof(Producto)).ToString()

Generando el siguiente SQL:

SELECT
“Extent1″.”Id” AS “Id”,
“Extent1″.”Nombre” AS “Nombre”,
…
FROM “MI_BASE_DE_DATOS”.”PRODUCTOS” “Extent1”

Con lo que podemos implementar una función de utilidad para obtener el nombre de la tabla para cada entidad:

public string GetTableName(Type entityType, bool debug = false)
{
  string sql = Set(entityType).ToString();
  if (debug)
    Console.WriteLine("La consulta SQL es: {0}", sql);
  Regex regex = new Regex(@"FROM\s+(?<table>.+)\s+");
  return regex.Match(sql).Groups["table"].Value;
}

Implementación sencilla del auditlog

Para implementar el auditlog hay que tener en cuenta una cuestión, ¿qué sistema de loggijng usamos? Log4net, uno propio, mongodb, elasticsearch, stdout … Vamos a hacer un sencillo ejemplo con stdout (modificar el ejemplo es llamar a nuestro servicio de logging).

public void auditLog(int userid, string operation, string table, string message = null)
{
  Console.WriteLine(string.Format(LOG, DateTime.Now, userid, operation, table, message));
}

LOG es una constante de cadena con el formato de la línea de log, por ejemplo:

const string LOG = “{0} – UserId = {1:D6} [{3} – {2}] – {4}”;

Cuya salida podría ser:

05/11/2018 12:50:18 – UserId = 012345 [“MI_BASE_DE_DATOS”.”PRODUCTOS” – DELETE] – Se ha borrado un registro

A partir de aquí, muchas opciones, soluciones y formas de adaptar el problema a una solución particular.

Referencias

Audit Log (visto el 5 de nov de 2018)

Blog de José Pérez Martínez

Mi pequeño rincón tecnológico

Monthly Archives: noviembre 2018

MySQL Query Log

Introducción

Uso de General Query Log

Referencias

Importar/exportar datos en MySQL

Introducción

Soluciones

Exportar con mysqldump

Exportar con SELECT … INTO OUTFILE

Importar fichero SQL

Importar datos con LOAD DATA INFILE

Referencias

Modificar puerto HTTP para Oracle XE

Audit Log con Entity Framework (.NET)

Introducción

Caso

Solución

Obtener el nombre de la tabla en EF

Implementación sencilla del auditlog

Referencias