Descargar carpeta WEB completa con CURL

Introducción

Supongamos que queremos descargar un contenido WEB. Por ejemplo, en la siguiente imagen vemos un caso real de unos XML modelo publicados por la administración pública (pero podría ser una página HTML con sus imágenes, etc.):

Solución

La forma de hacerlo usando wget sería:

wget --no-parent -r http[s]://dominio.com/ruta/directorio/descargar

Con esto, se crea una carpeta con el nombre del dominio y la estructura de carpetas publicadas en el servidor y todos los documentos referendo los enlaces disponibles desde la ruta indicada.

NOTA: Para poder usar WGET con SSL (https) leer mi post anterior.

***ADICONAL**: Parametros adicionales en https://www.guyrutenberg.com/2014/05/02/make-offline-mirror-of-a-site-using-wget/

Configurar proxy para Atom

Problema

En el trabajo usamos un proxy como en muchas grandes empresas. Uno de los diferentes editores que so es Atom (https://atom.io/). Y el problema es para instalar cualquier nueva características como un paquete, tema, etc.

Al acceder al gestor de paquetes (pulsar CTRL + COMA) y buscar un paquete no podremos instalarlo. En ese caso obtendremos el error:

tunneling socket could not be established, cause=connect ETIMEDOUT 192.169.35.2:3000

Solución

Para solucionarlo debemos configurar el gestor de paquetes de atom (APM) y esto sólo se puede hacer desde consola:

apm config set proxy "http://localhost:3128"
apm config set https_proxy proxy "http://localhost:3128"

Hecho esto, abrimos Atom y a trabajar:

Referencias

Organizar correos de Gmail por tamaño

Estoy organizando en mis ratos libres Gmail, porqué aunque Google ofrece mucho espacio es verdad que hay muchos correos con “basura” de la época en que se mandaba todo por email.

He encontrado la entrada muy útil con filtros para buscar en Gmail correos con ficheros adjuntos de un tamaño aproximado (alrededor de 15MB):

size:15mb

O ficheros con tamaños comprendidos entre:

larger_than:5m smaller_than:8M

A mi me ha sido muy útil.

Obtener vistas relacionadas en Oracle

Introducción

En ocasiones estamos manejado vistas o elementos de PL/SQL que necesitamos saber que relación existe entre ellos. Para esto oracle nos ofrece la vista user_dependencies que relaciona un objeto (vista, package, function, procedure) con otro si éste es dependencia de otro.

Caso de pruebas

Supongamos una vista ALUMNOS que se usa para hacer consulta, se consume en 1 procedure y 1 function. Si ejecutamos una consulta como la siguiente:


SELECT * FROM user_dependencies
  START WITH name = 'ALUMNOS'
  CONNECT BY PRIOR TRIM(referenced_name) = TRIM(name);

Obtendremos un resultado como el siguiente, donde veremos en la columna de la izquierda para cada ocurrencia de la izquierda en que elemento de la derecha esta como una dependencia.

Referencias

  1. USER_DEPENDENCIES:
    https://docs.oracle.com/cd/B28359_01/server.111/b28320/statviews_5252.htm
  2. ALL_DEPENDENCIES:
    https://docs.oracle.com/cd/B28359_01/server.111/b28320/statviews_1066.htm#i1576452

SQL Join: ¿Cual usar?

Introducción

Hace unos días tuve una conversación muy recurrente entre desarrolladores de software respecto del uso cotidiano de SQL. ¿Cómo usar JOIN? Esta duda la tienen aún desarrolladores expertos, pues bien vamos a aclarar un poco que es eso del JOIN.

Como breve resumen, decir que JOIN se usa en SQL para combinar filas de dos o más tablas. Y es una sentencia con tantas posibilidades que realmente se merece una explicación en una única entrada de este blog.

La sentencia JOIN como una expresión algebraica

Si tomamos cada tabla de la base de datos como un conjunto de datos donde cada columna posee su propio dominio definimos el operador como el JOIN para el conjunto de tuplas a relacionar (no deja de ser una composición):

De modo que R y S son dos tablas, y t y s son filas de cada tabla que se unirán si se cumple la condición dada. Y lo más fácil es ver el siguiente dibujo que representa los diferentes tipos de JOINS que existen conceptualmente (no todas los sistemas gestores de base de datos los soportan) y su representación aproximada como diagrama de Venn:

En este dibujo podemos ver gráficamente la idea de cada tipo de JOIN, filas que se relacionan en ambas tablas (conjuntos), filas que no tengan relación y estén en una tabla pero sí en la otra. O al revés, filas que no estén en la primera tabla y sí en la segundo, y en fin … todas las combinaciones que muestra el gráfico.

Por cierto, si se hace una composición de dos tablas con JOIN y la fila compuesta devuelta es resultado de una relación donde para una tabla hay datos y en la segunda tabla no existe relación, los campos de esa segunda tabla devueltos serám NULL.

Para leer más sobre algebra relacional recomiendo los apuntes de Pedro Pablo Alarcón Cavero [4], buen material docente sin duda. Pero todo esto es mejor analizarlo con un buen ejemplo.

Caso práctico

Si accedemos a la Web de W3Schools, tiene una base de datos de ejemplo donde podemos probar online difernetes sentencias SQL [Acceso a la BD en W3Schools].

Tablas de datos básicas

En este apartado primero vamos a ver una muestra de los datos que contienen las tablas, en la mayoría de casos vamos a ver una SELECT y los primeros registros que devuelve la base de datos, para mas información consultar el enlace “Acceso a la DB de W3Schools”.

Listado de Clientes

select * from Customers
CustomerID CustomerName ContactName Address City PostalCode Country
1 Alfreds Futterkiste Maria Anders Obere Str. 57 Berlin 12209 Germany
2 Ana Trujillo Emparedados y helados Ana Trujillo Avda. de la Constitución 2222 México D.F. 05021 Mexico
3 Antonio Moreno Taquería Antonio Moreno Mataderos 2312 México D.F. 05023 Mexico

(Devuelve 91 clientes)

Listado de Empleados

select * from Employees
EmployeeID LastName FirstName BirthDate Photo Notes
1 Davolio Nancy 1968-12-08 EmpID1.pic Education includes a BA in psychology from Colorado State University. She also completed (The Art of the Cold Call). Nancy is a member of ‘Toastmasters International’.
2 Fuller Andrew 1952-02-19 EmpID2.pic Andrew received his BTS commercial and a Ph.D. in international marketing from the University of Dallas. He is fluent in French and Italian and reads German. He joined the company as a sales representative, was promoted to sales manager and was then named vice president of sales. Andrew is a member of the Sales Management Roundtable, the Seattle Chamber of Commerce, and the Pacific Rim Importers Association.

(Devuelve 10 empleados)

Listado de Transportistas

select * from Shippers
ShipperID ShipperName Phone
1 Speedy Express (503) 555-9831
2 United Package (503) 555-3199
3 Federal Shipping (503) 555-9931

(Devuelve 3 transportistas)

Listado de Pedidos

select * from Orders
OrderID CustomerID EmployeeID OrderDate ShipperID
10248 90 5 1996-07-04 3
10249 81 6 1996-07-05 1
10250 34 4 1996-07-08 2

(Devuelve 196 pedidos)

Obtener los pedidos de cada cliente

Este es el ejemplo que ofrece W3SChools:

SELECT Orders.OrderID, Customers.CustomerName, Orders.OrderDate
FROM Orders
INNER JOIN Customers
ON Orders.CustomerID=Customers.CustomerID;
OrderID CustomerName OrderDate
10248 Wilman Kala 1996-07-04
10249 Tradição Hipermercados 1996-07-05
10250 Hanari Carnes 1996-07-08
10251 Victuailles en stock 1996-07-08

(Mostramos los 4 primeros, hay 196 resultados)

Obtener los clientes que nunca han hecho un pedido

Ahora vamos a pensar en la tabla clientes y en pedidos. En pedidos se registran los pedidos y qué cliente lo realiza, pero … ¿cómo saber qué clientes no han hecho aún un pedido?

SELECT c.CustomerID AS CodigoCliente, c.CustomerName, o.CustomerID AS ClienteEnPedido
FROM Customers AS c
LEFT JOIN Orders AS o ON c.CustomerID=o.CustomerID
WHERE o.OrderID IS NULL;
CodigoCliente CustomerName ClienteEnPedido
1 Alfreds Futterkiste null
6 Blauer See Delikatessen null
12 Cactus Comidas para llevar null
22 FISSA Fabrica Inter. Salchichas S.A. null
26 France restauration null
32 Great Lakes Food Market null
40 La corne d’abondance null
42 Laughing Bacchus Wine Cellars null
43 Lazy K Kountry Store null
45 Let’s Stop N Shop null
50 Maison Dewey null
53 North/South null
57 Paris spécialités null
64 Rancho grande null
74 Spécialités du monde null
78 The Cracker Box null
82 Trail’s Head Gourmet Provisioners null

De los 91 clientes que hay, estos 17 no tiene pedidos realizados. Además podemos ver cómo la columna con el ID de cliente en pedidos obtenida con este JOIN vale NULL, con lo que sabemos que existe relación.

Obtener los empleados que no han hecho ventas

Este es otro ejemplo cómo el anterior:

SELECT e.EmployeeID, e.FirstName
FROM Employees AS e
LEFT JOIN Orders AS o ON e.EmployeeID=o.EmployeeID
WHERE o.EmployeeID IS NULL;
EmployeeID LastName FirstName BirthDate Photo Notes
10 West Adam 1928-09-19 EmpID10.pic An old chum.

Adam West es el único cliente que no ha registrado pedidos en la base de datos.

Obtener qué pedidos ha hecho Nancy

Este caso es el mismo que obtener los pedidos de cada cliente, pero añadiendo un flltro por empleado.

SELECT e.EmployeeID, e.FirstName, o.OrderID
FROM Employees AS e
INNER JOIN Orders AS o ON e.EmployeeID=o.EmployeeID
WHERE e.FirstName = 'Nancy';
EmployeeID FirstName OrderID
1 Nancy 10258
1 Nancy 10270
1 Nancy 10275
1 Nancy 10285
1 Nancy 10292

Muestro los 5 primeros pedidos, pero Nancy ha hecho 29 pedidos.

Conclusión

JOIN es una clausula para las consultas SELECT que enrique mucho el lenguaje SQL, permite realizar consultas para diferentes casos muy interesantes sin tener que recurrir a escribir consultas muy complicadas.

Ejemplos para analizar el uso de JOIN hay muchos y en Google podemos encontrar muchos, espero que este resumen sirva de ayuda.

Referencias

  1. Join en Wikipedia: http://es.wikipedia.org/wiki/Join
  2. Join en W3SChoolshttp://www.w3schools.com/sql/sql_join.asp
  3. Manual de MySQL5 – Sentencia JOIN: http://dev.mysql.com/doc/refman/5.0/es/join.html
  4. Para leer algo más sobre algebra relacional (con permiso de Pedro Pablo Alarcón Cavero ): http://www-oei.eui.upm.es/Asignaturas/BD/BD/docbd/tema/algebra.pdf

Resetear el password del root en mysql

Solución rápida

¿Qué ocurre si instalas un servidor MySQL y no recuerdas al password del usuario root? O mejor aún, ¿y si te descargas una aplicación que preinstala un WAMP o XAMP y no te indica cual es el password de root?

Bueno, es un contratiempo pero no está todo perdido, si trabajamos en un entorno Unix podemos hacer los siguiente:

1. Detener el servidor

service mysql stop  o  /etc/init.d/mysqld stop

2. Iniciar el servidor en modo seguro:

mysqld_safe --skip-grant-tables --skip_networking &
  • La primera opción sirve para deshabilitar los permisos sobre las tablas y todos los usuarios pueden acceder a todas las tablas
  • La segunda acción deshabilita el servidor sobre TCP, de modo que el servidor sólo funciona de forma local (es una forma algo segura de manejar el servidor “a prueba de fallos” evitando que nadie desde la red se encuentre manipulando tablas o bases de datos que no debería tocar.

3. Iniciar el cliente CLI (TUPASWORD es la cadena de contraseña a elegir, además ver que se debe cifrar con PASSWORD() que es la función de cifrado para contraseñas por defecto de MySQL)

$ mysql -uroot
mysql> use mysql;
mysql> update user set passoword=password('TUPASSWORD') where user='root';

4. Por último queda reinicar el servidor.

Referencias

Leer XML con namspaces fácil en PHP

Introducción

Cuando manipulamos documentos XML [1] desde PHP [2] uno de los “quebraderos” de cabeza son los namespaces. Un namespace no es nada complicado ni rocambolesco como algunos opinan; no deja de ser un enriquecimiento semántico para dotar de más información a un documento XML.

Tradicionalmente los desarrolaldores PHP no se han complicado con este concepto. Pero hoy en día con la cantidad de mensajes y documentos XML que envían mediante REST, SOAP, APIs de terceros, etc. es inevitable y totalmente recomendable conocer como manipularlos de forma sencilla en PHP.

Caso de uso: Google shopping

Por lo general cualquier documento XML generado por y para Google tendrá en namespace http://base.google.com/ns/1.0, que simplemente añade algo de información adicional al documento XML (descripciones, items, ….) [4].

Cómo ejemplo vamos a manipular un documento para el servicio Google Shopping [3].

<?xml version="1.0"?>

<rss version="2.0" xmlns:g="http://base.google.com/ns/1.0">
    <channel>
        <title>El nombre de tu feed de datos</title>
        <link>http://www.example.com</link>
        <description>Una descripción de tu contenido</description>
        <item>
            <title>Suéter de lana rojo</title>
            <link> http://www.example.com/página-información-producto1.html</link>
            <description>Suéter suave y cómodo que te abrigará en las frías noches de                         
            invierno</description>
            <g:image_link>http://www.example.com/imagen1.jpg</g:image_link>
            <g:price>25</g:price>
            <g:condition>nuevo</g:condition>
            <g:id>1a</g:id>
        </item>
    </channel>
</rss>

Si leyéramos este documento directamente con SimpleXML no entendería los namespaces ni sus elementos, quedan este documento:

<?xml version="1.0"?>

<rss version="2.0" xmlns:g="http://base.google.com/ns/1.0">
    <channel>
        <title>El nombre de tu feed de datos</title>
        <link>http://www.example.com</link>
        <description>Una descripción de tu contenido</description>
        <item>
            <title>Suéter de lana rojo</title>
            <link> http://www.example.com/página-información-producto1.html</link>
            <description>Suéter suave y cómodo que te abrigará en las frías noches de                         
            invierno</description>

        </item>
    </channel>
</rss>

¿Cómo solucionarlo? Un ejemplo tonto sería la siguiente función que dado un elemento de un documento XML con SimpleXML busca los elementos del namespace http://base.google.com/ns/1.0. Obtenidos los elementos de este namespace en ese nodo, sólo debemos recoger la propiedad deseada (precio).

function xml_get_price(SimpleXMLElement $item)
{
    $googleSpace  = $item->children('http://base.google.com/ns/1.0');
    return $googleSpace->price; // para el ejemplo anterior: 25
}

¡Fin! Espero que sea útil.

Referencias

  1. XML 1.0 (w3c): http://www.w3.org/TR/REC-xml/
  2. PHP SimpleXML: http://php.net//manual/es/book.simplexml.php
  3. Google Shopping: https://www.google.es/shopping
  4. Google Merchants Expecificacion RSS 2.0: https://support.google.com/merchants/answer/160589?hl=es

SQL para sistema de reservas

Introducción

En un proyecto reciente he tenido que preparar un sistema de reservas para un hotel. La idea es sencilla poder reservar recursos (en este caso habitaciones) entre unas fechas determinadas.

Pero además, como es un hotel se da una condición especial. La fecha de inicio y de fin no son cerradas, quiero decir que una reserva puede terminar el mismo día que otra empieza y viceversa. Por todos es sabido, que normalmente en un hotel la hora de salida es hasta las 12:00am y la hora de entrada es a partir de las 14:00pm.

¿Cómo resolverlo? Sencillo,veamoslo.

Solución

Primero suponemos un esquema tan sencillo como el siguiente:

CREATE SCHEMA IF NOT EXISTS `mydb` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci ;

CREATE TABLE IF NOT EXISTS `mydb`.`habitaciones` (
  `numero` INT(11) NOT NULL,
  `nombre` VARCHAR(45) NULL DEFAULT NULL,
  `camas` INT(11) NULL DEFAULT NULL,
  `camagrande` TINYINT(1) NULL DEFAULT NULL,
  `disponible` TINYINT(1) NULL DEFAULT NULL,
  PRIMARY KEY (`numero`))
ENGINE = InnoDB
DEFAULT CHARACTER SET = utf8
COLLATE = utf8_general_ci;

CREATE TABLE IF NOT EXISTS `mydb`.`reservas` (
  `reserva_id` INT(11) NOT NULL AUTO_INCREMENT,
  `habitaciones_numero` INT(11) NOT NULL,
  `entrada` DATE NULL DEFAULT NULL,
  `salida` DATE NULL DEFAULT NULL,
  `nombrecliente` VARCHAR(45) NULL DEFAULT NULL,
  `telefono` VARCHAR(45) NULL DEFAULT NULL,
  PRIMARY KEY (`reserva_id`),
  INDEX `fk_reservas_habitaciones_idx` (`habitaciones_numero` ASC),
  CONSTRAINT `fk_reservas_habitaciones`
    FOREIGN KEY (`habitaciones_numero`)
    REFERENCES `mydb`.`habitaciones` (`numero`)
    ON DELETE NO ACTION
    ON UPDATE NO ACTION)
ENGINE = InnoDB
DEFAULT CHARACTER SET = utf8
COLLATE = utf8_general_ci;

El siguiente paso paso sería crear algún dato. Una vez hecho esto, podemos considerar muchos casos posbles, buscando en Internet seguro que hay muchas aproximaciones pero la solución final que yo he encontrado y funciona perfectamente para mi caso es la siguiente:

set @dstart = date_add('2014-03-15', interval 1 day);
set @dend   = date_sub('2014-04-01', interval 1 day);
select id, vivienda_id, arrival_date, departure_date, date_add(@dstart, interval 1 day) firstday, date_sub(@dend, interval 1 day) lastday
from espana_reservations r
where (arrival_date between @dstart and @dend)
   or (@dstart between arrival_date and departure_date)

Espero que haya sido de ayuda!

Referencias

Parametrizar consulta en MySQL usando @variables

Introducción

Hace poco en un proyecto personal he empezado a usar variables en mis consultas SQL para probarlas en mi cliente HeidiSQL. De esto modo puedo verificar el funcionamiento de las mismas como las construye mi framewoork codeigniter.

Por poner un ejemplo, en PHP plano se escribiría algo así:

$select = 'select * from cosas where precio > ', ($miprecio + $parametro) ' and precio < ', ($miprecio * 10) ;.

Pero claro, lo ideal es poder usar en MySQL una construcción con el mismo aspecto, ¿cómo? Usando las variables que nos ofrece en SQL.

Ejemplos

Supongamos una tabla de viviendas con su id, nombre y precio de mercado como la siguiente:

select id, nombre, precio_de_venta from kaza_viviendas
id nombre precio_de_venta
12 Villa Atlas 1470000
10 Villa Chronos 1350000
11 Villa Hermes 780000
6 Villa Marfil 1300000
8 Villa Eos 850000
9 Villa Pegasus 670000

Si queremos el precio más bonito y usando otro nombre:

select id, nombre, format(precio_de_venta, 2) as precio from viviendas 
id nombre precio
12 Villa Atlas 1,470,000.00
10 Villa Chronos 1,350,000.00
11 Villa Hermes 780,000.00
6 Villa Marfil 1,300,000.00
8 Villa Eos 850,000.00
9 Villa Pegasus 670,000.00

A continuación, vamos a crear dos parámetros “horquilla” y “precio_referencia”. El primero establece un límite sobre el que buscar precio “similares” al dado por “precio_referencia”:

set @precio_referencia=1470000;
set @horquilla=25000;
select id, nombre, format(precio_de_venta, 2) as recio
from viviendas
where precio_de_venta >= (@precio_referencia - @horquilla)
  and precio_de_venta <= (@precio_referencia + @horquilla);

Como vemos sólo nos devuelve una. Pero para generar y probar una lista de viviendas similares con este u otro criterio resulta muy útil y rápido

id nombre recio
12 Villa Atlas 1,470,000.00

Estos ejemplos son muy sencillo y tontos, pero creo que ilustran a grandes rasgos lo que quiero decir, además estoy seguro que para construir consultas más complejos con mayor cantidad de cruzas y condiciones podría ser de gran ayuda.

Conclusión

En desarrollo personalmente no me gusta usar variables de MySQL, aunque con ejemplos como el anterior si que veo muy claro lo que facilita la depuración del SQL y ayuda a la hora de construir consultas muy complejas con muchos datos cruzas y poder probar diferentes casos.

Desinstalar el plugin Subeclipse (svn) de Eclipse/Aptana Studio 3

Hace unos días, instalé el pluigin subeclipse para integrar SVN en Aptana Studio. Después de probarlo quedé contrariado al detectar que tiene un problema con el sistema de claves de gnome y no hacía más que darme problemas. Decidí seguir usando svn en consola y desinstalarlo. ¿Pero cómo hacerlo definitivo?

$ cd APTANA_INSTALL_DIR/plugins
$ ls |grep org.tigris.subversion
org.tigris.subversion.clientadapter_1.6.12.jar org.tigris.subversion.subclipse.doc_1.3.0.jar org.tigris.subversion.subclipse.tools.usage_1.0.1.jar
org.tigris.subversion.clientadapter.javahl_1.6.15.jar org.tigris.subversion.subclipse.graph_1.0.9.jar org.tigris.subversion.subclipse.ui_1.6.17.jar
org.tigris.subversion.subclipse.core_1.6.17.jar org.tigris.subversion.subclipse.mylyn_3.0.0.jar
$ ls |grep org.tigris.subversion|xargs rm

Solucionada, reiniciamos Aptana Studio y todo ok.

Referencias

  • Eclipse: http://www.eclipse.org/
  • Aptana Studio: http://www.aptana.com/
  • Subeclipse: http://subclipse.tigris.org/