12.4 Evaluación de las actuaciones en seguridad vial

Para tomar decisiones adecuadas sobre la implantación de actuaciones de seguridad vial es necesario conocer su eficacia. La principal herramienta utilizada para medir la eficacia es la reducción esperada del número de accidentes expresada como un factor de modificación de los accidentes (FMA) para cada actuación (apartado 11.3), que indica en qué medida se supone que la actuación reducirá el número de accidentes. Los FMAs ayudan a los responsables políticos en el proceso de toma de decisiones y es muy común usar los resultados de otros estudios previos para obtener una estimación realista del efecto esperado (SafetyCube, CMF Clearinghouse). Sin embargo, existen numerosas lagunas de conocimiento sobre la eficacia de las actuaciones.

Recientemente, se ha completado una colaboración internacional sobre la evaluación de la eficacia de las actuaciones en seguridad vial. El documento Compartir la seguridad vial de la OCDE/FIT (2012) recoge los siguientes mensajes fundamentales:

• La política de seguridad vial depende cada vez más de la solidez de los indicadores de eficacia de las intervenciones. Esta información es necesaria para justificar los gastos incurridos con cada actuación y también para obtener el apoyo necesario para implementar actuaciones que no siempre son bien aceptadas por la sociedad (los FMAs son fundamentales en este contexto).
• La falta de información fiable sobre la eficacia de algunas medidas es un obstáculo a la hora de adoptar actuaciones que podrían potencialmente salvar vidas.
• Nos encontramos actualmente en un punto de inflexión decisivo, ante la perspectiva de cambios cada vez más rápidos y de importantes ahorros de coste gracias a la transferencia de conocimientos sobre los resultados de la eficacia de los tratamientos (por ejemplo, por medio de los FMAs).
• La aplicabilidad de los FMAs se basa en el análisis de en qué medida estos dependen de las circunstancias, del contexto o del entorno en los cuales han sido determinados (ver Capítulo 11).
• La variabilidad de los resultados de los estudios sobre los FMAs constituye el mayor obstáculo a su transferencia entre países, pero esto puede corregirse utilizando métodos normalizados para la evaluación que incluyan el uso de técnicas apropiadas y la descripción de las circunstancias en la cuales se implementó cada actuación.

Algunas recomendaciones importantes de ese documento son que: 

• Las políticas de seguridad vial se deben someter a evaluaciones de eficacia y de resultados, lo que no es posible sin los FMAs de los accidentes.
• Los estudios destinados a desarrollar los FMAs deben seguir los requisitos contenidos en el informe de la ODCE/FIT (2012) e informar sobre los aspectos esenciales referidos en el mismo.
• La coordinación de los estudios de investigación en diferentes países sobre las medidas correctivas de mayor prioridad se debe llevar a cabo bajo la dirección de una comisión internacional.
• Es necesaria una base de datos supranacional para poder compartir conocimientos sobre los FMAs.
• Se debe realizar un esfuerzo conjunto para promover los beneficios de la toma de decisiones basadas en estos factores.

La prueba definitiva del éxito de una política o de una actuación de seguridad vial es el efecto que la misma ha tenido en la reducción de los accidentes y, en particular, en el número de fallecidos y de heridos graves. Lamentablemente, es complicado considerar los accidentes por separado porque puede ser necesario esperar varios años después de la introducción de la medida correctiva o del conjunto de medidas de seguridad vial para poder comprobar los cambios en las estadísticas de accidentalidad. Sin embargo, a menudo se necesita un indicador de la eficacia a más corto plazo, en particular cuando hay que comprobar que todo haya funcionado correctamente, por lo que se necesita una retroalimentación más inmediata. El uso de medidas alternativas puede ser útil para evaluar la eficacia de las actuaciones (apartado 5.2) y la relación entre los resultados intermedios y los finales. Estas medidas sustitutivas son habitualmente de carácter observacional, por lo que se recomienda realizar una evaluación en dos etapas: una fase a corto plazo (por ejemplo, 6 meses) y una fase a más largo plazo (por ejemplo, entre 3 y 5 años).

Observaciones

Donde sea práctico, se debe visitar el sitio, la carretera o la zona tratada en los días, semanas y meses sucesivos al fin de la construcción hasta que haya evidencia suficiente de que la medida diseñada funciona según lo previsto.

Se recomienda que las mediciones del comportamiento de los usuarios previas realizadas durante la fase de investigación (por ejemplo, el estudio de los conflictos de circulación o las mediciones de la velocidad) se repitan más tarde, ya que esto ayudará a determinar o apoyar la necesidad de cualquier cambio futuro o incluso llegar a probar el éxito de la actuación. Este estudio de comportamiento es también necesario ya que algunas características de una actuación pueden, por ejemplo, producir una reacción imprevista de los usuarios de la carretera y, por consiguiente, crear una situación potencialmente peligrosa. El seguimiento debe resaltar este problema tan pronto como sea posible con el fin de actuar rápidamente para eliminar este peligro.

En el mejor de los casos será posible paliar este peligro fácilmente, por ejemplo, mediante la rectificación del trazado de una curva para prevenir maniobras peligrosas. En el extremo opuesto puede ser necesario suprimir completamente la medida y examinar alternativas.

Algunos de los aspectos más relevantes a evaluar incluyen:

• las velocidades,
• los estudios sobre los conflictos de circulación,
• las intensidades de tráfico,
• los tiempos de demora del viaje,
• el cumplimiento de los dispositivos de control del tráfico,
• la resistencia al deslizamiento,
• la distancia de visibilidad,
• la seguridad de los usuarios vulnerables (naturaleza e importancia de los desplazamientos de los usuarios).

Sería poco práctico realizar estudios detallados del comportamiento de los usuarios para cualquier cambio menor; sin embargo, estos estudios son muy importantes en el caso de las medidas de mayor coste, como son los tratamientos que afectan a toda una zona o los tratamientos a gran escala. It would be impractical to carry out detailed behavioural studies for all minor alterations, but such studies may be particularly important for expensive schemes such as area-wide or mass action treatments.

Quizá sea preferible dejar al sistema funcionar durante aproximadamente dos meses antes de realizar un estudio de las condiciones tras la implantación para dejar pasar el período de adaptación durante el cual los usuarios habituales se acostumbran al nuevo escenario y para asegurarse de que cualquier efecto de aprendizaje ha desaparecido. La evaluación debe comprobar los impactos sobre la seguridad vial de todos los usuarios y entender los efectos generales de la medida como un todo (por ejemplo, la implantación de un carril bici puede resultar peligrosa si este es utilizado por los motoristas).

El caso de estudio recogido en el recuadro 12.1 muestra un ejemplo de evaluación basada en la observación del comportamiento (velocidad y posición en el carril) en Malasia.

Recuadro 12.1: Caso de estudio – Efecto de la instalación de un cebreado central en una carretera interurbana de cuatro carriles en Malasia

Evaluación basada en el número de accidentes

La evaluación más importante de cualquier medida de seguridad vial consiste en determinar su efecto sobre las tasas de accidentalidad y comprobar si ha permitido reducirlas según las cifras esperadas (en particular, los accidentes mortales y con heridos graves). La evaluación implica el análisis de los datos de accidentalidad comparando los resultados antes y después de introducir un cambio, lo que a menudo conlleva un análisis estadístico. Para tener cierta seguridad de que la naturaleza aleatoria de los accidentes ha sido tenida en cuenta, normalmente es necesario esperar varios años antes de disponer de un resultado válido. Como ya se comentó anteriormente, a veces puede ser necesaria una retroalimentación en un plazo más corto.

Además del problema de la escala temporal, existen otros factores que complican el proceso, aparentemente simple, de evaluar la eficacia de los cambios introducidos sobre las tasas de accidentalidad de los sitios, carreteras o zonas tratados, como son:

• la regresión a la media,
• los cambios no asociados a la actuación (como cambios generales en las tendencias de los accidentes, en las intensidades de tráfico, etc.),
• la migración de los accidentes.

Cada uno de estos puntos se examina a continuación. 

Regresión a la media 

Este efecto complica las evaluaciones de los lugares con elevadas tasas de accidentes. Generalmente, las localizaciones a tratar se seleccionan porque han sido el escenario de numerosos accidentes. En ciertos casos, las elevadas cifras de accidentes pueden ser el resultado de un año particularmente malo, lo que sería producto del puro azar. En este caso, se observará un importante descenso en el número de accidentes al año siguiente, incluso sin haber realizado ninguna actuación. Incluso cuando se utiliza un período de tres años, el número de los accidentes registrados en una localización puede sufrir fluctuaciones aleatorias, de forma que, en los años siguientes, este lugar experimentará un descenso en sus números. Este fenómeno es conocido como efecto de regresión a la media y se cree que puede alterar la eficacia de un tratamiento entre un 5 y 30 %.

Mountain, Maher y Fawaz (1998) proporcionan un claro ejemplo de regresión a la media que puede causar la sobreestimación de la eficacia de las intervenciones. En un amplio estudio que incluía 900 localizaciones y 13.612 accidentes registrados, compararon los accidentes ocurridos antes del tratamiento, durante el período de latencia (el tiempo entre la selección de un lugar y la ejecución real del tratamiento) y después de la implantación del tratamiento. Las cifras de los accidentes se ajustaron para tener en cuenta las diferentes duraciones de los períodos (los datos se resumen en la tabla 12.1). La diferencia entre el número de accidentes ocurridos antes del tratamiento y los ocurridos durante el período de latencia se considera como la medición del efecto de regresión a la media.

Fuente: Adaptado de Mountain, Maher y Fawaz (1998)

Durante muchos años, los estadísticos han debatido sobre este problema y la manera de tratarlo (Abbess et al., 1981; Hauer y Byer, 1983; Wright y Boyle, 1987; Maher y Mountain, 1988; Kulmala, 1994; Radin Umar et al., 1995).

La mejor manera de tener en cuenta al mismo tiempo el efecto de la regresión a la media y los cambios en el entorno es tal vez la utilización de sitios de control seleccionados exactamente de la misma manera que los sitios tratados e identificados por tener problemas similares, pero que aún no hayan sido tratados. La decisión de tratar o no un sitio se basa en una asignación aleatoria. Este tipo de prueba controlada (o prueba de control aleatoria) es inusual en los proyectos de seguridad vial, ya que es difícil justificar la decisión de no tratar un sitio identificado como potencialmente peligroso.

En los últimos años, el método empírico de Bayes se ha mostrado como una manera eficaz de minimizar el impacto de la regresión a la media. Sin embargo, y aunque sea reconocido como una buena práctica para la evaluación de la seguridad vial, no todos los países (y en particular los países con ingresos bajos y medios) contarán necesariamente con la experiencia requerida para utilizar esta técnica. Si no se utiliza este método, se debe realizar, como mínimo, una comparación de la situación antes y después. Se recomienda disponer de al menos tres años de datos para la situación de antes (preferiblemente cinco), debido al hecho de que el efecto de regresión a la media tiende a disminuir cuando se consideran períodos más largos. Por ejemplo, en un estudio realizado en dos países del Reino Unido, Abbess et al. (1981) determinaron que la regresión a la media tenía los siguientes efectos:

• si se utilizaba un período de tiempo de un año, se estimó que el efecto de la regresión a la media era del 15 al 26 %,
• para dos años, se estimó un efecto de entre el 7 y el 15 %, y
• para tres años, el efecto estaba entre el 5 y el 11 %.

Cuando no se utiliza el método empírico de Bayes, estos porcentajes pueden usarse para estimar la reducción del número de los accidentes causada por un tratamiento.

Cambios en las tendencias generales de los accidentes (incluso en las intensidades de tráfico)

En la evaluación de los cambios en las cifras de accidentes (y para la mayoría de las variables de seguimiento descritas en el apartado  de Obervaciones), existen otros factores no afectados por el tratamiento que, sin embargo, pueden influir en los resultados y que, por lo tanto, deben tenerse en cuenta, como son: un cambio en el límite de velocidad en el tramo bajo tratamiento, las campañas locales o nacionales de seguridad vial o medidas de gestión del tráfico que afecten a las intensidades de tráfico (como la modificación de una intersección cercana que produce un cambio marcado en los patrones de tráfico). Los cambios asociados a factores externos se pueden compensar mediante la comparación del sitio estudiado, para el mismo período de antes y después, con otros sitios (a veces llamados sitios de control) que no hayan sido tratados. Para validar estos datos, es importante que los sitios de control sufran exactamente los mismos cambios que el sitio bajo evaluación.

Los datos para llevar a cabo la comparación pueden recabarse mediante pares comparados o zonas de control. Un sitio de control por pares comparados implica encontrar un sitio geográficamente cercano al sitio tratado (pero no lo bastante cerca para ser afectado por una desviación del tráfico) y con las mismas características generales para que esté sometido a las mismas variaciones locales que puedan influir en la seguridad vial (como el las condiciones climatológicas, las intensidades de tráfico, las campañas de seguridad, etc.).

En la práctica, puede ser difícil encontrar otros sitios con los mismos problemas de seguridad que no hayan sido tratados deliberadamente por razones únicamente estadísticas. Por esta razón, se utilizan frecuentemente zonas de comparación que incluyen un gran número de sitios. Los sitios agrupados de comparación deben ser tan similares a los sitios tratados como sea posible, pero no estar afectados por el tratamiento.

Migración de los accidentes

El efecto de la migración de los accidentes siempre es tema de controversia, pero algunos investigadores sostienen que es real (Boyle y Wright, 1984; Persaud, 1987). Se ha concluido que los accidentes tienden a aumentar en los sitios adyacentes a un sitio tratado con éxito, lo que produce una aparente transferencia o migración de los accidentes. Se desconoce por qué ocurre este efecto, pero una hipótesis es que los conductores «compensan» la mejora de la seguridad en los sitios tratados con una reducción de la prudencia en otras zonas.

Obviamente, para detectar este efecto, la frecuencia de los accidentes antes y después de la actuación en la zona de influencia de los sitios tratados se debe comparar con un grupo adecuado de control. En otras palabras, la zona de estudio para la evaluación debe ampliarse para incluir las carreteras que puedan verse afectadas por el tratamiento y, por lo tanto, deben identificarse sitios de comparación que no hayan sido tratados.

Sin embargo, aún no existe una técnica establecida para estimar este efecto en un sitio particular. Boyle y Wright observaron su ocurrencia por primera vez en 1984 y concluyeron que el aumento general de los accidentes en las zonas aledañas era de casi el 9 %. Un estudio posterior (Persaud, 1987) realizado con una mayor muestra de sitios, estimó un aumento de 0,2 accidentes por sitio y año.

Un estudio de Austroads (2010) ha identificado los efectos que algunas actuaciones tienen en la redistribución del tráfico y sugiere que esta puede ser la causa de la migración. Si el tráfico se reduce en el sitio tratado, es probable que aumente en sus proximidades (esto es posiblemente cierto en todas las situaciones, salvo cuando se produce una caída en el número de desplazamiento). Para este tipo de actuaciones en las que es probable una redistribución del tráfico, la evaluación de estos efectos debe incluir una zona geográfica más amplia para identificar las localizaciones donde la exposición (y por consiguiente el riesgo) puede aumentar. Las actuaciones que pueden causar una redistribución del tráfico son:

• los controles o las prohibiciones de girar,
• los grandes cambios en un itinerario, como la modificación de las zonas de estacionamiento,
• el cierre de un puente,
• los cambios localizados en los límites de velocidad,
• los cambios en las intersecciones (cambio en la señalización, en las fases semafóricas o en los carriles de giro),
• las actuaciones de calmado del tráfico,
• la adición de carriles,
• la adición de carriles de adelantamiento,
• los tratamientos para peatones en las intersecciones y entre estas,
• el control de los pasos a nivel,
• la posibilidad de habilitar el giro entre intersecciones.

Métodos de evaluación

Varios documentos ofrecen ejemplos detallados de métodos de evaluación de la seguridad vial, como: 

• The Highway Safety Manual (AASHTO, 2010);
• An Introductory Guide for Evaluating Effectiveness of Road Safety Treatments (Austroads, 2012);
• Guide to Developing Quality Crash Modification Factors (Gross et al., 2010).

La mejor metodología de evaluación es la prueba controlada o prueba controlada aleatoria que, como ya se indicó, apenas se usa en las actuaciones sobre la infraestructura debido, principalmente, a preocupaciones de orden moral que implica dejar sitios de alto riesgo sin tratamiento y también a otras cuestiones como la falta de conocimientos en la materia. Cuando los lugares que recibirán tratamiento o los grupos de control se eligen al azar, se elimina el posible sesgo de tratar los sitios con los peores registros históricos de accidentes. Además, esta metodología también tiene en cuenta los factores externos que pueden surgir a medida que avanza la evaluación (como programas imprevistos de vigilancia policial en la zona de las pruebas) porque se supone que afectan, de la misma manera, tanto a los sitios bajo tratamiento como a los sitios de control. La diferencia entre los sitios tratados y los de control después de la implantación es el reflejo exacto de la influencia del tratamiento.

El enfoque actualmente recomendado para la evaluación de las actuaciones en seguridad vial es el método empírico de Bayes. Hauer (1997) explica el procedimiento en su forma más simple y su estudio constituye una lectura recomendada para quién desee comprender la lógica que sostiene este método, aplicada a la seguridad vial. Seguidamente se ofrece un resumen de los principios de este método.

El enfoque empírico de Bayes utiliza el concepto de un número esperado de accidentes o número promedio a largo plazo, calculado para un período tan largo como se estime necesario. El segundo concepto es la población de referencia o el conjunto de sitios o carreteras similares para los que se dispone de datos (por ejemplo, todas las intersecciones de un cierto tipo en toda la red). En la versión clásica de este método, la población de referencia actúa como un grupo de control y el número de accidentes esperado en un sitio sin actuación se compara con el número de accidentes ocurridos. La comparación del número real de accidentes con el número esperado indica el alcance del FMA.

Un método usado con frecuencia para evaluar la seguridad vial es la comparación de los resultados antes y después, que utiliza un grupo de comparación o grupo de control. A pesar de no abordar completamente el problema de la regresión a la media (aunque un período más largo en la evaluación de la situación anterior puede reducir este efecto), sí limita el impacto de los factores externos. Este método compara los resultados de sitios tratados con los de un conjunto de sitios de comparación (a veces llamados sitios de control) con características similares a las del sitio tratado en todos sus aspectos importantes, pero sin haber recibido tratamiento alguno. El método asume que los factores externos actúan a la vez en los sitios tratados y en los sitios de control, de manera idéntica, y pueden, por lo tanto, ser medidos y compensados. Ya que los sitios tratados y los sitios de control están sometidos a los mismos conjuntos de variables externas, cualquier diferencia en los resultados de seguridad se debe al efecto del tratamiento.

La forma más simple (y a menudo más utilizada) de evaluación consiste en comparar las tasas de accidentalidad antes de la ejecución de una actuación con las tasas de accidentes después de su implantación, lo que se conoce como un simple estudio de antes y después, es decir, sin grupo de control. No se recomienda usar esta metodología porque no tiene en cuenta la regresión hacia la media o las variables exteriores adecuadamente.

También se han utilizados estudios transversales para tratar de identificar los efectos de las actuaciones en seguridad vial mediante la comparación de los resultados en sitios con una o varias medidas particulares con los resultados en sitios que no las tienen (se supone que las diferencias en los resultados de seguridad se deben a estas medidas). Existen numerosas dificultades en la utilización de este método (sobre todo debidas a las diferencias entre los sitios más que a las características de la medida en concreto y a las diferencias en las tasas de accidentalidad que desencadenaron la instalación de dicha medida), por lo que no debe utilizarse para este tipo de evaluación (sin embargo, si se utiliza, las limitaciones deben ser bien entendidas y documentadas).

Para evaluar un tratamiento particular, habitualmente es necesario encontrar la respuesta a estas dos preguntas:

• ¿ha sido eficaz el tratamiento?
• y, si es así, ¿en qué medida?

La naturaleza rara y aleatoria de los accidentes puede causar fluctuaciones bastante importantes en su frecuencia en el mismo lugar y de un año al siguiente, incluso si no ha habido ningún cambio en el nivel de seguridad. Esta variabilidad adicional vuelve los efectos de un tratamiento aún más difíciles de cuantificar, por lo que se debe usar una prueba de contraste estadística para determinar si el cambio observado en las tasas de accidentalidad se debe al azar o no.

El principal problema con el uso de datos de accidentes para realizar una evaluación (asumiendo una gran fiabilidad de los registros) es distinguir los cambios debidos al tratamiento realizado y los debidos a otras causas. Como ya se explicó, incluso si los sitios seleccionados disponen de buenos grupos de comparación que tengan en cuenta las influencias del entorno, existen otros factores que pueden inducir a error y que se deben considerar.

Para elegir los periodos de tiempo utilizados en la comparación del número de accidentes antes y después de los tratamientos, existen varios puntos a tener en cuenta:

• El período de construcción debe excluirse del estudio. Si no se conoce con precisión, se debe excluir un período aún más largo que incluya el período de construcción.
• El período evaluado antes del tratamiento debe ser lo bastante largo para proporcionar una buena estimación estadística del nivel real de seguridad vial (para eliminar las fluctuaciones aleatorias tanto como sea posible). Sin embargo, no debe incluir los períodos durante los cuales el sitio ha tenido características diferentes. Como regla general, un período de tres a cinco años se considera razonable.
• La misma regla se aplica al período de después del tratamiento, que debe durar al menos tres años. Sin embargo, a menudo se requieren resultados mucho antes de este plazo. Se puede emplear inicialmente un período de un año si no existe ninguna razón que pueda causar una distorsión en los resultados y siempre y cuando se utilice el mismo período para los sitios de comparación. Sin embargo, debido a la pérdida de sensibilidad de un período corto, la estimación del éxito de las actuaciones debe actualizarse posteriormente a medida que se recojan más datos.

Existen documentos y herramientas que ofrecen una guía detallada para la evaluación de la eficacia de las actuaciones. El recuadro 12.2 describe la herramienta de evaluación de las medidas correctivas del programa Safety Analyst Tools.

Recuadro 12.2: La herramienta de evaluación de las medidas correctivas del programa Safety Analyst Tools