La última etapa del proceso de evaluación del riesgo es el seguimiento y la evaluación de las actuaciones (gráfico 12.1).
Gráfico 12.1: El seguimiento y la evaluación en el proceso de evaluación del riesgo
Como se describió en el Capítulo 3, el seguimiento y la evaluación consisten en la medición sistemática y continua de los productos y de los resultados obtenidos (intermedios y finales) en materia de seguridad vial y en la evaluación de las actuaciones destinadas a obtener la atención deseada a los resultados (GRSF, 2009). Estas tareas se omiten a menudo, pero son fundamentales para una gestión eficaz de la seguridad vial.
Los capítulos anteriores contenían información acerca de la función del seguimiento y de la evaluación en la gestión de la seguridad vial, destacando su importancia como parte integrante de las metas y de los programas de seguridad vial (Capítulo 3 y, en menor medida, Capítulos 6 y Capítulo 8) y su papel en la recopilación de datos (apartado 5.2). El presente capítulo se centra en el proceso de seguimiento y evaluación a nivel de la red de carreteras y de proyecto e informa sobre la importancia de este proceso y la manera de abordarlo.
El seguimiento se refiere a la recopilación sistemática de datos derivados de la ejecución de una actuación o de un programa de seguridad vial, tanto durante como después de su implantación. La evaluación implica el análisis de estos datos para determinar el efecto de la actuación o del programa de seguridad vial.
Los objetivos del proceso de seguimiento y evaluación son:
Un proceso de evaluación exitoso requiere una exhaustiva planificación que incluya la recopilación de los datos de referencia, la identificación de los objetivos antes de la implantación y la consideración de los diferentes métodos de evaluación que pueden utilizarse. Además, es fundamental que los resultados y la retroalimentación del estudio de evaluación se distribuyan entre todas las partes interesadas.
Existen tres tipos principales de evaluación, de los cuales uno o varios pueden ser apropiados para cada estudio, dependiendo de lo que se evalúe. Estos tres tipos son:
Se pueden utilizar tanto métodos cuantitativos como cualitativos para un estudio de evaluación. Las cuestiones cualitativas son más útiles en las evaluaciones del proceso y de los resultados por medio de grupos temáticos o de cuestionarios de respuesta abierta y pueden ser reveladoras para saber por qué una intervención no ha tenido éxito. Con los estudios cuantitativos se obtienen resultados más rigurosos mediante el uso de pruebas de control y de estudios comparativos entre antes y después.
Como se comentó en el apartado 11.4, la información sobre la eficacia de las actuaciones es igualmente importante para evaluar los posibles beneficios de las mejoras en seguridad vial. El proceso de evaluación es importante para ampliar los conocimientos sobre la eficacia de las diferentes actuaciones de seguridad vial en diferentes tipos de entorno. El uso de esta información en la selección y la priorización de las actuaciones se examina en el Capítulo 11, mientras que el presente capítulo se centra en los métodos de seguimiento y de evaluación. No obstante, las administraciones deben ser cautas antes de generalizar los resultados de una evaluación.
Se deben establecer procesos para la recopilación de los datos relevantes. Para aquellas administraciones que estén empezando, este proceso de recogida de datos puede comenzar con un proyecto piloto limitado a un corredor o a una zona concreta.
Se deben proporcionar los suficientes recursos humanos y financieros para llevar a cabo el seguimiento y la evaluación. Además, se debe formar al personal responsable del organismo vial y al resto de partes interesadas en los métodos básicos de evaluación.
En caso de limitaciones presupuestarias, es muy importante demostrar que las actuaciones en seguridad vial son eficaces y de mucho valor añadido, lo que es particularmente importante en los países con ingresos bajos y medios, donde los planes integrales de acción recientemente desarrollados cuentan con limitados fondos del gobierno central y de las agencias de ayuda. Para asegurar que la limitada financiación disponible se gasta de la manera más eficiente, es necesaria un buen conocimiento de la eficacia de las actuaciones. Actualmente existe bastante desconocimiento sobre cómo las diferentes actuaciones mejoran la seguridad vial en los PBMIs. El apartado 11.3 destaca algunas de las dificultades para utilizar en los PBMIs la información sobre la eficacia de los tratamientos disponible de los PAIs. Se necesita un enfoque basado en la experiencia para mejorar los conocimientos sobre la eficacia de las actuaciones en los PBMIs, lo que únicamente puede lograrse por medio del seguimiento y de la evaluación de las actuaciones en estos países.
Peor aún que un uso ineficiente de los limitados fondos es la posible implantación de actuaciones que causen un aumento del riesgo de accidente. Por desgracia, esta situación ocurre en la toma de decisiones sobre políticas públicas, incluso en las que afectan a la seguridad vial y es a menudo consecuencia de la falta de información, de un cambio en el comportamiento de los usuarios o de una pobre implementación del proceso. También puede producirse debido a condicionantes durante el proceso de toma de decisiones, de forma que se no se dé la misma prioridad a los aspectos de la seguridad vial que a otros factores, como la movilidad.
Los programas de educación vial a los conductores a veces son un ejemplo de cómo una actuación en seguridad vial puede causar un aumento del riesgo de accidente. Aunque pueda parecer poco probable que una iniciativa de formación y una mejora de la educación de los conductores no tenga un efecto positivo o incluso aumente levemente el riesgo de accidente, esto es exactamente lo que se ha concluido de los estudios realizados. Existen suficientes pruebas que demuestran cómo una formación avanzada del conductor (como una clase de control del derrape del coche) aumenta el riesgo de accidente (Helman et al., 2010, citado en McKenna, 2010, y Williams, 2006, citado en McKenna, 2010). Una revisión sistemática realizada por Roberts y Kwan (2001, citado en McKenna, 2010) sobre los programas de educación vial ha concluido que no existen pruebas de que se obtenga una reducción en la frecuencia de los accidentes como resultado de mejorar la educación del conductor y que incluso puede aumentar levemente el número de accidentes de tráfico con implicación de adolescentes.
Se han sugerido varias explicaciones para entender por qué la educación vial no ofrece efectos positivos claros. Sin embargo, lo que resulta claro de lo expuesto en este ejemplo es que se requiere información fiable y precisa sobre la eficacia de la seguridad vial y que esta debe ser obligatoriamente la base de la toma de decisiones políticas que no solamente (y antes que nada) no aumenten el riesgo, sino que apoyen el uso eficaz de los recursos limitados.
Aunque el seguimiento y la evaluación son un componente importante de la gestión de la seguridad vial de las infraestructuras viarias, no deben ejecutarse en la misma medida para cada proyecto. Por ejemplo, si se implementa una actuación en una zona que ya ha sido evaluada exhaustivamente, la necesidad de evaluaciones futuras será menor. Al mismo tiempo, aquellos tratamientos de seguridad vial que no hayan resultado de utilidad en una determinada zona deben ser sometidos a un proceso de evaluación más riguroso.
El capítulo 6 describe el proceso para establecer metas cuantificables como parte del desarrollo de políticas y planes de seguridad vial y, en particular, la necesidad de supervisar constantemente los avances en relación con estas metas. Además de supervisar las metas a largo plazo, es igualmente necesario controlar que las administraciones y las partes implicadas implementen las mejoras definidas en el plan mediante el seguimiento de las metas intermedias. Este seguimiento también puede ayudar a establecer si estas actuaciones tienen el efecto deseado sobre la seguridad vial. En muchos casos, el seguimiento identificará los ajustes que es necesario realizar para ayudar a mejorar los resultados de la seguridad vial. Las necesidades de datos para estas actividades se describen en el Capítulo 5.
Los siguientes apartados ofrecen orientación sobre cómo evaluar las actuaciones sobre la seguridad vial de una infraestructura viaria. Algunos de estos métodos pueden utilizarse para evaluar los resultados en relación con las metas. Sin embargo, evaluar si las actuaciones permiten alcanzar las metas esperadas puede ser una tarea más compleja, ya que, a menudo, se producen muchos cambios al mismo tiempo. Algunas soluciones a este problema consisten en la evaluación conjunta de paquetes de medidas (es decir, determinar el efecto de un conjunto de medidas relacionadas) o la aplicación de modelos estadísticos para tratar de determinar el impacto de las medidas individuales. Sea cual sea el método elegido, la creación de un sólido sistema de recopilación y análisis de datos es indispensable para asegurar la idoneidad de los datos recabados. Una evaluación necesita datos sobre los resultados finales (datos sobre los accidentes registrados) y sobre las medidas intermedias (indicadores de seguridad vial, como indicadores de comportamiento, información extraída de encuestas y mediciones sobre la infraestructura). Para más información sobre los requisitos de los datos, ver el Capítulo 5. En lo que concierne a la evaluación de las actuaciones en ámbitos diferentes a la infraestructura, existen varios documentos de referencia, como la página web y la herramienta del Reino Unido sobre la evaluación de los programas de educación, de formación y de difusión (https://www.roadsafetyevaluation.com/), así como documentos sobre las buenas prácticas para promover el uso del casco (Global Road Safety Partnership: GRSP, 2006), para prevenir la conducción bajo los efectos del alcohol (GRSP, 2007), el exceso de velocidad (GRSP, 2008) y del uso del cinturón de seguridad y los sistemas de retención infantil (GRSP, 2009).
Para tomar decisiones adecuadas sobre la implantación de actuaciones de seguridad vial es necesario conocer su eficacia. La principal herramienta utilizada para medir la eficacia es la reducción esperada del número de accidentes expresada como un factor de modificación de los accidentes (FMA) para cada actuación (apartado 11.3), que indica en qué medida se supone que la actuación reducirá el número de accidentes. Los FMAs ayudan a los responsables políticos en el proceso de toma de decisiones y es muy común usar los resultados de otros estudios previos para obtener una estimación realista del efecto esperado (SafetyCube, CMF Clearinghouse). Sin embargo, existen numerosas lagunas de conocimiento sobre la eficacia de las actuaciones.
Recientemente, se ha completado una colaboración internacional sobre la evaluación de la eficacia de las actuaciones en seguridad vial. El documento Compartir la seguridad vial de la OCDE/FIT (2012) recoge los siguientes mensajes fundamentales:
Algunas recomendaciones importantes de ese documento son que:
La prueba definitiva del éxito de una política o de una actuación de seguridad vial es el efecto que la misma ha tenido en la reducción de los accidentes y, en particular, en el número de fallecidos y de heridos graves. Lamentablemente, es complicado considerar los accidentes por separado porque puede ser necesario esperar varios años después de la introducción de la medida correctiva o del conjunto de medidas de seguridad vial para poder comprobar los cambios en las estadísticas de accidentalidad. Sin embargo, a menudo se necesita un indicador de la eficacia a más corto plazo, en particular cuando hay que comprobar que todo haya funcionado correctamente, por lo que se necesita una retroalimentación más inmediata. El uso de medidas alternativas puede ser útil para evaluar la eficacia de las actuaciones (apartado 5.2) y la relación entre los resultados intermedios y los finales. Estas medidas sustitutivas son habitualmente de carácter observacional, por lo que se recomienda realizar una evaluación en dos etapas: una fase a corto plazo (por ejemplo, 6 meses) y una fase a más largo plazo (por ejemplo, entre 3 y 5 años).
Donde sea práctico, se debe visitar el sitio, la carretera o la zona tratada en los días, semanas y meses sucesivos al fin de la construcción hasta que haya evidencia suficiente de que la medida diseñada funciona según lo previsto.
Se recomienda que las mediciones del comportamiento de los usuarios previas realizadas durante la fase de investigación (por ejemplo, el estudio de los conflictos de circulación o las mediciones de la velocidad) se repitan más tarde, ya que esto ayudará a determinar o apoyar la necesidad de cualquier cambio futuro o incluso llegar a probar el éxito de la actuación. Este estudio de comportamiento es también necesario ya que algunas características de una actuación pueden, por ejemplo, producir una reacción imprevista de los usuarios de la carretera y, por consiguiente, crear una situación potencialmente peligrosa. El seguimiento debe resaltar este problema tan pronto como sea posible con el fin de actuar rápidamente para eliminar este peligro.
En el mejor de los casos será posible paliar este peligro fácilmente, por ejemplo, mediante la rectificación del trazado de una curva para prevenir maniobras peligrosas. En el extremo opuesto puede ser necesario suprimir completamente la medida y examinar alternativas.
Algunos de los aspectos más relevantes a evaluar incluyen:
Sería poco práctico realizar estudios detallados del comportamiento de los usuarios para cualquier cambio menor; sin embargo, estos estudios son muy importantes en el caso de las medidas de mayor coste, como son los tratamientos que afectan a toda una zona o los tratamientos a gran escala. It would be impractical to carry out detailed behavioural studies for all minor alterations, but such studies may be particularly important for expensive schemes such as area-wide or mass action treatments.
Quizá sea preferible dejar al sistema funcionar durante aproximadamente dos meses antes de realizar un estudio de las condiciones tras la implantación para dejar pasar el período de adaptación durante el cual los usuarios habituales se acostumbran al nuevo escenario y para asegurarse de que cualquier efecto de aprendizaje ha desaparecido. La evaluación debe comprobar los impactos sobre la seguridad vial de todos los usuarios y entender los efectos generales de la medida como un todo (por ejemplo, la implantación de un carril bici puede resultar peligrosa si este es utilizado por los motoristas).
El caso de estudio recogido en el recuadro 12.1 muestra un ejemplo de evaluación basada en la observación del comportamiento (velocidad y posición en el carril) en Malasia.
El problema: Una evaluación de la seguridad vial realizada en la Ruta Federal 1 de Malasia alertó sobre el elevado riesgo de colisión frontal en dos tramos de calzada única en el estado de Perak que no contaban con mediana separadora de los sentidos de circulación. Las visitas de campo revelaron una alta frecuencia de adelantamientos ilegales y el escaso respeto de la circulación dentro del carril: se observó que los vehículos que circulaban por el carril interior invadían el sentido contrario, lo que creaba situaciones de conflicto con los vehículos que circulaban en el sentido contrario. Además, un estudio de la velocidad indicó que la velocidad media era ligeramente superior al límite de velocidad.
La solución: La creación de una mediana central mediante cebreado, es decir, sin separación física, se consideró una solución viable para aumentar la distancia entre ambos sentidos de circulación y para disminuir la velocidad media. Se trata de una medida no intrusiva, con un coste relativamente bajo y que consiste únicamente en el pintado de marcas viales. Además de reducir los conflictos al ayudar a disminuir velocidad y fomentar un mejor posicionamiento en el carril, esta medida se empleó para controlar los accesos y para proporcionar a los peatones un espacio de refugio en el centro de la calzada. La siguiente figura muestra el cebreado central de un metro de anchura instalado en una de las zonas de actuación.
Imagen: Instalación de un banda central cebreada en una curva
El resultado: La implantación del cebreado central ha reducido la velocidad media de circulación en 3 km/h y ha mejorado el posicionamiento de los vehículos en el carril, lo que indica que los conductores se sienten más seguros permaneciendo en su carril para evitar conflictos con los que circulan en sentido contrario.
Fuentes:
© ARRB Group
La evaluación más importante de cualquier medida de seguridad vial consiste en determinar su efecto sobre las tasas de accidentalidad y comprobar si ha permitido reducirlas según las cifras esperadas (en particular, los accidentes mortales y con heridos graves). La evaluación implica el análisis de los datos de accidentalidad comparando los resultados antes y después de introducir un cambio, lo que a menudo conlleva un análisis estadístico. Para tener cierta seguridad de que la naturaleza aleatoria de los accidentes ha sido tenida en cuenta, normalmente es necesario esperar varios años antes de disponer de un resultado válido. Como ya se comentó anteriormente, a veces puede ser necesaria una retroalimentación en un plazo más corto.
Además del problema de la escala temporal, existen otros factores que complican el proceso, aparentemente simple, de evaluar la eficacia de los cambios introducidos sobre las tasas de accidentalidad de los sitios, carreteras o zonas tratados, como son:
Cada uno de estos puntos se examina a continuación.
Este efecto complica las evaluaciones de los lugares con elevadas tasas de accidentes. Generalmente, las localizaciones a tratar se seleccionan porque han sido el escenario de numerosos accidentes. En ciertos casos, las elevadas cifras de accidentes pueden ser el resultado de un año particularmente malo, lo que sería producto del puro azar. En este caso, se observará un importante descenso en el número de accidentes al año siguiente, incluso sin haber realizado ninguna actuación. Incluso cuando se utiliza un período de tres años, el número de los accidentes registrados en una localización puede sufrir fluctuaciones aleatorias, de forma que, en los años siguientes, este lugar experimentará un descenso en sus números. Este fenómeno es conocido como efecto de regresión a la media y se cree que puede alterar la eficacia de un tratamiento entre un 5 y 30 %.
Mountain, Maher y Fawaz (1998) proporcionan un claro ejemplo de regresión a la media que puede causar la sobreestimación de la eficacia de las intervenciones. En un amplio estudio que incluía 900 localizaciones y 13.612 accidentes registrados, compararon los accidentes ocurridos antes del tratamiento, durante el período de latencia (el tiempo entre la selección de un lugar y la ejecución real del tratamiento) y después de la implantación del tratamiento. Las cifras de los accidentes se ajustaron para tener en cuenta las diferentes duraciones de los períodos (los datos se resumen en la tabla 12.1). La diferencia entre el número de accidentes ocurridos antes del tratamiento y los ocurridos durante el período de latencia se considera como la medición del efecto de regresión a la media.
Tratamiento | Estimaciones sesgadas de la reducción gracias al tratamiento (%) | Estimaciones no sesgadas de la reducción gracias al tratamiento (%) | Reducción estimada debida a la regresión a la media (%) |
|---|---|---|---|
Tratamientos superficiales | 46 | 23 | 23 |
Tratamientos superficiales solamente en accidentes con calzada mojada | 67 | 27 | 40 |
Mini glorietas | 68 | 65 | 3 |
Otras mejoras de intersecciones | 42 | 27 | 15 |
Rectificación de trazado en un tramo de carretera | 63 | 37 | 26 |
Otras mejoras en tramos de carretera | 34 | 10 | 24 |
Medidas sobre el alumbrado público | 27 | 5 | 22 |
Medidas sobre la gestión del tráfico | 41 | 22 | 19 |
Todos los tipos de tratamiento | 43 | 23 | 20 |
Fuente: Adaptado de Mountain, Maher y Fawaz (1998)
Durante muchos años, los estadísticos han debatido sobre este problema y la manera de tratarlo (Abbess et al., 1981; Hauer y Byer, 1983; W y Boyle, 1987; Maher y Mountain, 1988; Kulmala, 1994; Radin Umar et al., 1995).
La mejor manera de tener en cuenta al mismo tiempo el efecto de la regresión a la media y los cambios en el entorno es tal vez la utilización de sitios de control seleccionados exactamente de la misma manera que los sitios tratados e identificados por tener problemas similares, pero que aún no hayan sido tratados. La decisión de tratar o no un sitio se basa en una asignación aleatoria. Este tipo de prueba controlada (o prueba de control aleatoria) es inusual en los proyectos de seguridad vial, ya que es difícil justificar la decisión de no tratar un sitio identificado como potencialmente peligroso.
En los últimos años, el método empírico de Bayes se ha mostrado como una manera eficaz de minimizar el impacto de la regresión a la media. Sin embargo, y aunque sea reconocido como una buena práctica para la evaluación de la seguridad vial, no todos los países (y en particular los países con ingresos bajos y medios) contarán necesariamente con la experiencia requerida para utilizar esta técnica. Si no se utiliza este método, se debe realizar, como mínimo, una comparación de la situación antes y después. Se recomienda disponer de al menos tres años de datos para la situación de antes (preferiblemente cinco), debido al hecho de que el efecto de regresión a la media tiende a disminuir cuando se consideran períodos más largos. Por ejemplo, en un estudio realizado en dos países del Reino Unido, Abbess et al. (1981) determinaron que la regresión a la media tenía los siguientes efectos:
Cuando no se utiliza el método empírico de Bayes, estos porcentajes pueden usarse para estimar la reducción del número de los accidentes causada por un tratamiento.
En la evaluación de los cambios en las cifras de accidentes (y para la mayoría de las variables de seguimiento descritas en el apartado de Obervaciones), existen otros factores no afectados por el tratamiento que, sin embargo, pueden influir en los resultados y que, por lo tanto, deben tenerse en cuenta, como son: un cambio en el límite de velocidad en el tramo bajo tratamiento, las campañas locales o nacionales de seguridad vial o medidas de gestión del tráfico que afecten a las intensidades de tráfico (como la modificación de una intersección cercana que produce un cambio marcado en los patrones de tráfico). Los cambios asociados a factores externos se pueden compensar mediante la comparación del sitio estudiado, para el mismo período de antes y después, con otros sitios (a veces llamados sitios de control) que no hayan sido tratados. Para validar estos datos, es importante que los sitios de control sufran exactamente los mismos cambios que el sitio bajo evaluación.
Los datos para llevar a cabo la comparación pueden recabarse mediante pares comparados o zonas de control. Un sitio de control por pares comparados implica encontrar un sitio geográficamente cercano al sitio tratado (pero no lo bastante cerca para ser afectado por una desviación del tráfico) y con las mismas características generales para que esté sometido a las mismas variaciones locales que puedan influir en la seguridad vial (como el las condiciones climatológicas, las intensidades de tráfico, las campañas de seguridad, etc.).
En la práctica, puede ser difícil encontrar otros sitios con los mismos problemas de seguridad que no hayan sido tratados deliberadamente por razones únicamente estadísticas. Por esta razón, se utilizan frecuentemente zonas de comparación que incluyen un gran número de sitios. Los sitios agrupados de comparación deben ser tan similares a los sitios tratados como sea posible, pero no estar afectados por el tratamiento.
El efecto de la migración de los accidentes siempre es tema de controversia, pero algunos investigadores sostienen que es real (Boyle y W, 1984; Persaud, 1987). Se ha concluido que los accidentes tienden a aumentar en los sitios adyacentes a un sitio tratado con éxito, lo que produce una aparente transferencia o migración de los accidentes. Se desconoce por qué ocurre este efecto, pero una hipótesis es que los conductores «compensan» la mejora de la seguridad en los sitios tratados con una reducción de la prudencia en otras zonas.
Obviamente, para detectar este efecto, la frecuencia de los accidentes antes y después de la actuación en la zona de influencia de los sitios tratados se debe comparar con un grupo adecuado de control. En otras palabras, la zona de estudio para la evaluación debe ampliarse para incluir las carreteras que puedan verse afectadas por el tratamiento y, por lo tanto, deben identificarse sitios de comparación que no hayan sido tratados.
Sin embargo, aún no existe una técnica establecida para estimar este efecto en un sitio particular. Boyle y W observaron su ocurrencia por primera vez en 1984 y concluyeron que el aumento general de los accidentes en las zonas aledañas era de casi el 9 %. Un estudio posterior (Persaud, 1987) realizado con una mayor muestra de sitios, estimó un aumento de 0,2 accidentes por sitio y año.
Un estudio de Austroads (2010) ha identificado los efectos que algunas actuaciones tienen en la redistribución del tráfico y sugiere que esta puede ser la causa de la migración. Si el tráfico se reduce en el sitio tratado, es probable que aumente en sus proximidades (esto es posiblemente cierto en todas las situaciones, salvo cuando se produce una caída en el número de desplazamiento). Para este tipo de actuaciones en las que es probable una redistribución del tráfico, la evaluación de estos efectos debe incluir una zona geográfica más amplia para identificar las localizaciones donde la exposición (y por consiguiente el riesgo) puede aumentar. Las actuaciones que pueden causar una redistribución del tráfico son:
Varios documentos ofrecen ejemplos detallados de métodos de evaluación de la seguridad vial, como:
La mejor metodología de evaluación es la prueba controlada o prueba controlada aleatoria que, como ya se indicó, apenas se usa en las actuaciones sobre la infraestructura debido, principalmente, a preocupaciones de orden moral que implica dejar sitios de alto riesgo sin tratamiento y también a otras cuestiones como la falta de conocimientos en la materia. Cuando los lugares que recibirán tratamiento o los grupos de control se eligen al azar, se elimina el posible sesgo de tratar los sitios con los peores registros históricos de accidentes. Además, esta metodología también tiene en cuenta los factores externos que pueden surgir a medida que avanza la evaluación (como programas imprevistos de vigilancia policial en la zona de las pruebas) porque se supone que afectan, de la misma manera, tanto a los sitios bajo tratamiento como a los sitios de control. La diferencia entre los sitios tratados y los de control después de la implantación es el reflejo exacto de la influencia del tratamiento.
El enfoque actualmente recomendado para la evaluación de las actuaciones en seguridad vial es el método empírico de Bayes. Hauer (1997) explica el procedimiento en su forma más simple y su estudio constituye una lectura recomendada para quién desee comprender la lógica que sostiene este método, aplicada a la seguridad vial. Seguidamente se ofrece un resumen de los principios de este método.
El enfoque empírico de Bayes utiliza el concepto de un número esperado de accidentes o número promedio a largo plazo, calculado para un período tan largo como se estime necesario. El segundo concepto es la población de referencia o el conjunto de sitios o carreteras similares para los que se dispone de datos (por ejemplo, todas las intersecciones de un cierto tipo en toda la red). En la versión clásica de este método, la población de referencia actúa como un grupo de control y el número de accidentes esperado en un sitio sin actuación se compara con el número de accidentes ocurridos. La comparación del número real de accidentes con el número esperado indica el alcance del FMA.
Un método usado con frecuencia para evaluar la seguridad vial es la comparación de los resultados antes y después, que utiliza un grupo de comparación o grupo de control. A pesar de no abordar completamente el problema de la regresión a la media (aunque un período más largo en la evaluación de la situación anterior puede reducir este efecto), sí limita el impacto de los factores externos. Este método compara los resultados de sitios tratados con los de un conjunto de sitios de comparación (a veces llamados sitios de control) con características similares a las del sitio tratado en todos sus aspectos importantes, pero sin haber recibido tratamiento alguno. El método asume que los factores externos actúan a la vez en los sitios tratados y en los sitios de control, de manera idéntica, y pueden, por lo tanto, ser medidos y compensados. Ya que los sitios tratados y los sitios de control están sometidos a los mismos conjuntos de variables externas, cualquier diferencia en los resultados de seguridad se debe al efecto del tratamiento.
La forma más simple (y a menudo más utilizada) de evaluación consiste en comparar las tasas de accidentalidad antes de la ejecución de una actuación con las tasas de accidentes después de su implantación, lo que se conoce como un simple estudio de antes y después, es decir, sin grupo de control. No se recomienda usar esta metodología porque no tiene en cuenta la regresión hacia la media o las variables exteriores adecuadamente.
También se han utilizados estudios transversales para tratar de identificar los efectos de las actuaciones en seguridad vial mediante la comparación de los resultados en sitios con una o varias medidas particulares con los resultados en sitios que no las tienen (se supone que las diferencias en los resultados de seguridad se deben a estas medidas). Existen numerosas dificultades en la utilización de este método (sobre todo debidas a las diferencias entre los sitios más que a las características de la medida en concreto y a las diferencias en las tasas de accidentalidad que desencadenaron la instalación de dicha medida), por lo que no debe utilizarse para este tipo de evaluación (sin embargo, si se utiliza, las limitaciones deben ser bien entendidas y documentadas).
Para evaluar un tratamiento particular, habitualmente es necesario encontrar la respuesta a estas dos preguntas:
La naturaleza rara y aleatoria de los accidentes puede causar fluctuaciones bastante importantes en su frecuencia en el mismo lugar y de un año al siguiente, incluso si no ha habido ningún cambio en el nivel de seguridad. Esta variabilidad adicional vuelve los efectos de un tratamiento aún más difíciles de cuantificar, por lo que se debe usar una prueba de contraste estadística para determinar si el cambio observado en las tasas de accidentalidad se debe al azar o no.
El principal problema con el uso de datos de accidentes para realizar una evaluación (asumiendo una gran fiabilidad de los registros) es distinguir los cambios debidos al tratamiento realizado y los debidos a otras causas. Como ya se explicó, incluso si los sitios seleccionados disponen de buenos grupos de comparación que tengan en cuenta las influencias del entorno, existen otros factores que pueden inducir a error y que se deben considerar.
Para elegir los periodos de tiempo utilizados en la comparación del número de accidentes antes y después de los tratamientos, existen varios puntos a tener en cuenta:
Existen documentos y herramientas que ofrecen una guía detallada para la evaluación de la eficacia de las actuaciones. El recuadro 12.2 describe la herramienta de evaluación de las medidas correctivas del programa Safety Analyst Tools.
© ARRB Group
AASHTO (2010) Highway Safety Manual, American Association of State Highway and Transportation Officials, Washington, USA.
Abbess, C.D. Jarrett & W, C.C. (1981) Accidents at blackspots: estimating the effectiveness of remedial treatment, with special reference to the “regression to the mean” effect. Traffic Engineering & Control, V22, N10., pp. 532-542
Austroads, (2010), Road Safety Engineering Risk Assessment, Part 2: Crash Risk Migration, Austroads Technical Report AP-T147/10, Sydney, Australia.
Austroads (2012) An Introductory Guide for Evaluating Effectiveness of Road Safety Treatments. Austroads, Sydney, Australia.
Boyle, A.J. & W, C.C. (1984) Accident ‘migration’ after remedial treatment at accident blackspots, Traffic Engineering & Control, V25, N5, pp. 260-267.
Global Road Safety Facility GRSF (2009), Implementing the Recommendations of the World Report on Road Traffic Injury Prevention. Country guidelines for the Conduct of Road Safety Management Capacity Reviews and the Specification of Lead Agency Reforms, Investment Strategies and Safe System Projects, Global Road Safety Facility World Bank, Washington DC.
Gross, F Persaud, B and Lyon, C (2010) Guide to developing quality crash modification factors, Federal Highway Administration (FHWA), Washington, DC.
GRSP (2006), Helmets: a road safety manual for decision-makers and practitioners, WHO, Geneva, Switzerland.
GRSP (2007), Drinking and driving: a Road Safety Manual for Decision-makers and Practitioners, Global Road Safety Partnership, Geneva, Switzerland.
GRSP (2008), Speed management: a road safety manual for decision-makers and practitioners, GRSP, Geneva, Switzerland.
GRSP (2009), Seat-belts and child restraints: a road safety manual for decision-makers and practitioners, FIA Foundation for the Automobile and Society, London, United Kingdom.
Harwood, D Torbic, D. Richard, K. & Meyer, M, (2010), SafetyAnalyst: Software Tools for Safety Management of Specific Highway Sites. Federal Highway Administration, McLean, Virginia.
Hauer, E (1997), Observational before-after studies in road safety, Pergamon, Oxford, UK.
Hauer, E. & Byer, P. (1983) Bias-by-selection: the accuracy of an unbiased estimator, Accident Analysis & Prevention, V15, N5, pp.323-328
Kulmala, R. (1994) Measuring the safety effect of road measures at junctions. Accident Analysis & Prevention V26, N6, pp. 781-794.
Maher, M.J. & Mountain, L.J. (1988) The identification of accident blackspots: a comparison of current methods, Accident Analysis & Prevention, V20, N2.
McKenna, F, (2010), Education in Road Safety: Are we getting it ? RAC Foundation, London, UK.
Mountain, L, Maher, M & Fawaz, B, (1998), ‘Improved estimates of the safety effects of accident remedial schemes’, Traffic Engineering and Control, vol. 30 no.10, pp. 554-8.
OECD/ITF (2012) Sharing Road Safety, Organisation for Economic Co-operation and Development (OECD), Paris, France.
Persaud, B. (1987) Migration of accident risk after remedial treatment at accident blackspots, Traffic Engineering & Control, V28,N1, pp. 23-26.
Radin Umar, R.S., Mackay, G.M. & Hills, B.L. (1995) Preliminary analysis of motorcycle accidents: short term impacts of the running headlights campaign and regulation in Malaysia, Journal of Traffic Medicine.
W, C.C & Boyle, A.J. (1987) Road accident causation and engineering treatment: a review of current issues. Traffic Engineering & Control, V28, N9, pp. 475-479.