Caso de uso 3 - Validación, transformación y harvesting con el catálogo del Ministerio de Justicia

Caso 3: catálogo válido remoto

En esta prueba se realiza el proceso completo de validación, transformación y harvesting a partir de un archivo xlsx que contiene los metadatos pertenecientes al catálogo del Ministerio de Justicia. Nota: Se trata de un catálogo conocido y válido en cuanto a su estructura y metadatos. Archivo utilizado: https://raw.githubusercontent.com/datosgobar/libreria-catalogos/master/justicia/data.json

Importación de metodos y clases



In [31]:

    
from pydatajson import DataJson #lib y clase
from pydatajson.pydatajson import read_catalog # lib, modulo ... metodo Lle el catalogo -json o xlsx o (local o url) dicc- y lo transforma en un diccionario de python
from pydatajson.xlsx_to_json import write_json_catalog
import arrow

Declaración de variables y paths



In [32]:

    
#completar con lo que corresponda
ORGANISMO = 'justicia'  #ORGANISMO = 'XXXXXXXX' 
catalogo = "https://raw.githubusercontent.com/datosgobar/pydatajson/master/tests/samples/catalogo_justicia.json"



In [33]:

    
#no modificar
HOY = arrow.now().format('YYYY-MM-DD-HH_mm')
catalogo_a_json = "archivos-generados\\jsons\\catalogo-{}-{}.json".format(ORGANISMO, HOY)#ej:tests\excel_validos\catalogo-justicia-2017-01-12.xlsx
reporte_datasets="archivos-generados\\reportes\\reporte-catalogo-{}-{}.xlsx".format(ORGANISMO, HOY)
archivo_config_sin_reporte="archivos-generados\\configuracion\\archivo-config_-{}-{}-sinr.csv".format(ORGANISMO, HOY)
archivo_config_con_reporte="archivos-generados\\configuracion\\archivo-config-{}-{}-conr.csv".format(ORGANISMO, HOY)

Validación del catalogo en json y harvesting

Validación del catálogo en json

Instanciación de la clase DataJson



In [34]:

    
dj = DataJson()

Validación -V/F- del catálogo en json



In [36]:

    
dj.is_valid_catalog(catalogo)









    Out[36]:





True

Validación detallada del catálogo en json



In [37]:

    
dj.validate_catalog(catalogo)









    Out[37]:





{u'error': {u'catalog': {u'errors': [],
   u'status': u'OK',
   u'title': u'Datos Justicia Argentina'},
  u'dataset': [{u'errors': [],
    u'status': u'OK',
    u'title': u'Base de datos legislativos Infoleg'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Centros de Acceso a la Justicia -CAJ-'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Sistema de Consulta Nacional de Rebeld\xedas y Capturas - Co.Na.R.C.'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Declaraci\xf3n Jurada Patrimonial Integral de car\xe1cter p\xfablico'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Entidades constituidas en la Inspecci\xf3n General de Justicia'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Estad\xedstica de Inscripciones Iniciales de Automotores y Motoveh\xedculos'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Internos del Servicio Penitenciario Federal - SPF'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Listado de Registros Seccionales de la Direcci\xf3n Nacional de Registros Nacionales de la Propiedad Automotor y Cr\xe9ditos Prendarios'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Magistrados de la Justicia Federal y de la Justicia Nacional'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Estad\xedstica de mediaciones prejudiciales y judiciales'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Registro, Sistematizaci\xf3n y Seguimiento de Femicidios y Homicidios Agravados por el G\xe9nero'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Registro Unificado de V\xedctimas del Terrorismo de Estado -RUVTE-'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Sistema Nacional de Estad\xedsticas sobre Ejecuci\xf3n de la Pena \u2013 SNEEP'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Solicitudes de Condici\xf3n de Leg\xedtimo Usuario de Armas de Fuego'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Solicitudes de Autorizaci\xf3n de Portaci\xf3n de Armas de Fuego'},
   {u'errors': [],
    u'status': u'OK',
    u'title': u'Registro, Sistematizaci\xf3n y Seguimiento de Hechos de Violencia Institucional'}]},
 u'status': u'OK'}

Harvesting

Generación del archivo de reporte de datasets



In [38]:

    
dj.generate_datasets_report(catalogo, harvest='valid',export_path=reporte_datasets)
# proceso el repote, 0 y 1s

Generación del archivo de configuración para el harvester



In [39]:

    
#  usando el reporte
dj.generate_harvester_config(harvest='report', report=reporte_datasets, export_path=archivo_config_con_reporte)



In [11]:

    
# sin usar el reporte
dj.generate_harvester_config(catalogs=catalogo, harvest='valid', export_path=archivo_config_sin_reporte)
#(catalogs=None, harvest=u'valid', report=None, export_path=None)