Como fallan los sistemas complejos

Cuando se desarrolla un software para controlar un sistema complejo, el software acaba siendo igual o incluso más complejo que el sistema que se desea controlar. Los sistemas complejos son muy propensos a los fallos y, por lo mismo, el software que se emplea para controlarlos.

El artículo How Complex System Fail explica las características de los sistemas complejos y las razones por las que fallan. Por ejemplo, se explica que los sistemas complejos son intrínsecamente complejos o las catástrofes requieren de múltiples fallos y un fallo en un único punto del sistema no es suficiente para provocar una catástrofe.

[Actualización 9/8/2012]

En el artículo El largo y difícil camino de la profesión de Ricardo Galli he encontrado esta explicación de por qué los sistemas informáticos fallan y es complicado lograr que no fallen:

Los sistemas informáticos son sistemas muy complejos, ante una mínima variación, error o entrada no prevista puede generar resultados inesperados –algo que sabría cualquiera que haya leído un poco de sistemas complejos–. Por eso es que Microsoft, la empresa más grande del mundo, la que más invierte en desarrollo, la que más factura en venta de software y la que tiene los mejores y más caros procesos y técnicas de diseño, desarrollo y validación sea incapaz de proveer software sin bugs muy importantes.

La razón es simple: la complejidad, con sus trillones de combinaciones posibles de los elementos independientes que escapan al entendimiento humano y las herramientas de verificación y validación que hemos desarrollado hasta ahora. Por eso es que las licencias de software –las de Microsoft, Oracle, Linux o MySQL– incluyen una cláusula explícita que no se hacen responsables de los fallos y daños producidos por el malfuncionamiento de sus programas.