Santiago Borrajo (Centro de Estudios Legales y Sociales) y Lesedi Bewlay (The Engine Room) son coautores de este artículo. Se publicó originalmente en la web de The Engine Room y lo reproducimos aquí con autorización.
Durante este año, en el marco del programa Matchbox de The Engine Room, hemos estado apoyando a la organización argentina de derechos humanos Centro de Estudios Legales y Sociales (CELS) en la tarea de reconceptualizar su base de datos que documenta casos de violencia institucional. Juntos, buscamos construir una nueva base de datos mejor adaptada a las necesidades de documentación, flujos de trabajo y requisitos de seguridad de la organización. Para crear esta base de datos, hemos confiado en la herramienta de código abierto Uwazi, desarrollada por HURIDOCS.
En esta publicación, profundizamos en el proceso de selección de la herramienta Uwazi y de cómo migramos los 12.000 casos de violencia institucional del CELS a la nueva plataforma. La adopción de una nueva base de datos puede llevar mucho tiempo, ser una tarea compleja y tal vez no la más glamorosa. Dicho esto, es una manera fundamental de fortalecer muchas otras áreas del trabajo de una organización; ¡esperamos que lo que aprendimos pueda ser útil para las demás organizaciones en sus propios procesos!
Determinar las necesidades y mapear los potenciales recursos
Para empezar, sabíamos que sería importante identificar las principales necesidades en la nueva plataforma. Comenzar con lo “imprescindible” contribuyó a garantizar que con el equipo de CELS tuviéramos como punto de partida una concepción común. En este caso, con CELS, decidimos que cualquiera fuera la herramienta elegida esta debería:
- Tener en cuenta el contexto específico de una organización de la sociedad civil, con ejemplos de uso comprobados y exitosos por otras organizaciones de la sociedad civil.
- Ser de código abierto
- Tener el potencial de ser hospedada en la infraestructura de la organización
- Permitir la gestión y el etiquetado de documentos
- Tener una función de búsqueda
- Ser capaz de exportar datos de una manera que sea compatible con otros softwares y también en un formato legible para las personas
Tomando esta lista de requisitos clave como base para explorar herramientas potenciales, estudiamos el panorama en busca de herramientas con potencial para convertirse en una opción adecuada. Luego de contrastar estas herramientas con la lista de requisitos clave, CELS decidió utilizar Uwazi, la herramienta en código abierto de gestión de documentos de HURIDOCS.
Reestructurar los datos para que se adecuen a una nueva plataforma
La adopción de una nueva plataforma de gestión de datos rara vez es una tarea sencilla. Para asegurarnos de que los datos ya existentes tuvieran un lugar adecuado en Uwazi, necesitábamos estudiar detenidamente los datos propiamente dichos, y planificar su migración desde el sistema existente a Uwazi. Con ese fin, mapeamos los datos del sistema vigente de CELS extrayendo las tablas relevantes de la base de datos (mediante múltiples pasos) y compactando estos datos en una hoja de cálculo que nos permitiera tener un esquema visual de dónde estaban todos los datos relevantes de momento.
Uwazi almacena datos en una estructura diferente a la de la base de datos ya existente de CELS; Uwazi usa una base de datos MongoDB, que almacena datos en una estructura de documento, mientras la base de datos existente usaba una estructura relacional en una base de datos SQL. Lo que esto significaba era que teníamos que pensar en la estructura de datos en sí de manera diferente, desde cero. Por lo tanto, uno de los primeros desafíos que enfrentamos fue el de reestructurar los datos existentes de una manera que respetara la esencia del modo en que ya estaban organizados y que también encajaran en la estructura de Uwazi. Es importante destacar que la reestructuración de los datos de cara al nuevo sistema significó que también tendríamos que rediseñar los formularios y las plantillas de documentos utilizados para cargar datos en el sistema.
En la base de datos original, cada caso estaba vinculado mediante un número único. Este número de caso posibilita hacer conexiones con información complementaria, como personas involucradas en el caso, información judicial, fuentes, etc. El equipo decidió continuar utilizando esta metodología, ya que proporciona una forma sencilla de vincular diferentes aspectos de los datos de un caso independientemente del software usado, y replicar la estructura de la base de datos relacional utilizando la función de relación de Uwazi. Esta función crea un diagrama visual donde las personas usuarias pueden hacer clic en cada documento y ver cuántas relaciones existen. Por ejemplo, un caso puede tener tres agentes de policía y cuatro víctimas que quienes utilicen la base pueden ver y explorar visualmente.
Migrar los datos a la nueva herramienta
Inicialmente, CELS tenía más de 12.000 casos en su sistema original que debían migrar a Uwazi. Si bien Uwazi permite la carga masiva, utilizando un archivo CSV, los datos del archivo deben estar estandarizados y coincidir con precisión con la estructura configurada en Uwazi. (Esto no es exclusivo de Uwazi, migrar datos y hacer coincidir formatos es una parte fundamental de la mayoría del trabajo de datos, lo que demuestra la importancia del cuidado y la paciencia en estos procesos).
Para crear los archivos CSV que se subirían luego a Uwazi, tuvimos que preparar los datos. Primero, ejecutamos varias consultas personalizadas en las bases de datos existentes y formateamos los conjuntos de datos resultantes en archivos CSV. Una vez que extrajimos los registros, necesitábamos asegurarnos de que cada nombre de columna en nuestro archivo CSV coincidiera con un campo de datos en Uwazi. Los formatos de datos del archivo CSV también debían coincidir con los formatos de datos que habíamos especificado en Uwazi. (Por ejemplo, una columna con un campo de fecha en el archivo CSV debe contener solamente información de fecha para poder cargarla correctamente en Uwazi; esta regla también se aplica a los campos de texto y números)
Esto fue un proceso de ensayo y error hasta que logramos hacerlo bien.
Además de nuestros propios intentos y aprendizajes, otros factores influyeron en nuestro éxito. Por ejemplo, la velocidad de la conexión y la estabilidad del servidor donde se ejecuta Uwazi afectaron la velocidad y la precisión de las cargas. Como estábamos subiendo a la plataforma miles de casos, dividimos las cargas en lotes de 500, 1000 casos, o más, según el tamaño de la carga. Mientras se estaban procesando, nos aseguramos de monitorear el progreso y verificar si había errores.
Además, rápidamente se hizo evidente la importancia de mantener un orden durante la carga. Para recrear la estructura relacional, teníamos tablas principales y “subtablas”, que se ubicaban debajo de las tablas principales. Para que las subtablas creen las relaciones correctas entre los documentos, debían cargarse después de las principales.
Con todas estas piezas en movimiento, pronto quedó clara la importancia de contar con copias de seguridad. Si una carga sale mal, es posible que se deba comenzar de nuevo el proceso completo, a menos que se tengan capturas periódicas de etapas anteriores. Aprendimos a hacer copias de seguridad después de cada nueva etapa de carga de datos, para tener puntos de control a los que poder regresar en caso de ser necesario.
Hacia el final de nuestro proceso, también aprovechamos una API integrada en Uwazi y la usamos para conectar la nueva base de datos de CELS a un panel orientado al público. El resultado es Violencia Policial, un sitio web que muestra públicamente estadísticas y casos clave de violencia institucional en Argentina.
Lo que aprendimos en el proceso
Durante este proceso aprendimos varias lecciones, tales como:
- Conoce tus datos. Antes de trabajar y estructurar tus datos originales, es clave comprender qué tan limpios están, cómo se ajustan a tu estructura de datos y dónde puede haber lagunas. Especialmente al migrar datos de una base de datos existente a una nueva, debes comprender cómo tu estructura de datos actual se adapta a la nueva estructura.
- Sé prudente con tu cronograma. Migrar los datos a tu nuevo sistema es un proceso gradual y probablemente no debería efectuarse de una vez. Es fundamental que te tomes tu tiempo y no apresures este proceso; es importante hacerlo bien. Planificar los errores, destinando más tiempo del que supones que necesitarás, puede contribuir a aliviar parte del estrés que implica averiguar qué funciona mejor.
- Consigue el apoyo adecuado. Sugerimos involucrar a personas u organizaciones que conozcan bien y hayan trabajado con la herramienta que has elegido en un contexto similar. Por ejemplo, HURIDOCS cuenta con un gran equipo en el que confiamos y con consultores dentro del espacio de la tecnología cívica que tienen experiencia trabajando con Uwazi. También sugerimos buscar documentación disponible públicamente sobre la herramienta elegida y testimonios de otras organizaciones que usaron la plataforma y tengan experiencias relevantes (¡quizá esa organización sea The Engine Room!).
- Elegir los servidores adecuados puede ser complicado. Para alojar la herramienta y sus datos, el equipo decidió optar por un proveedor externo de Servidor Privado Virtual (VPS), que es una buena opción si se busca aumentar la accesibilidad, reducir los costos y minimizar los recursos humanos requeridos. Sin embargo, si lo esencial es preservar la propiedad y la seguridad de los datos, es posible que prefieras almacenarlos por tu cuenta. Ten en cuenta que esto requerirá una mayor planificación en torno a los recursos humanos y al mantenimiento.