andreslucena / congreso_datos_diputado

Congreso: Datos diputado


Este script parsea una de las webs de congreso.es y por cada diputado en el Congreso guarda:

  • su id unico en la web del Congreso
  • su nombre y apellidos
  • la URL de su perfil en la web del Congreso
  • la URL de la foto de su perfil en la web del Congreso
  • la URL a la Declaración de Bienes y de Actividades
  • El cargo que tiene (Diputado o Diputada)
  • La posición en sector, fila y butaca
  • Su correo electrónico
  • El partido y grupo parlamentario (si tiene alguno) al que pertenece
  • Su curriculum
  • Su fecha de nacimiento
  • Su estado civil
  • La legislatura actual y las legislaturas anteriores en las que haya estado
  • Las comisiones en las que participa
  • La circunscripción a la que pertenece
  • Redes sociales:
    • El nombre del usuario en twitter
    • La URL a su web personal
    • La URL a su perfil en Facebook
    • La URL a su perfil en Flickr
    • La URL a su perfil en Linkedin
    • La URL a su perfil en YouTube
    • La URL a su perfil en Instagram

Basado en el trabajo de Pablo Castellano para la Legislatura X, adaptado para la XII. Se han unificado estos scripts y se han migrado de ScraperWiki a morph.io

Desarrollo

Para preparar el entorno de desarrollo y testing en local, con Ubuntu 16.04, recomendamos usar entornos virtuales. Ejecutamos lo siguiente:

sudo apt-get install libxml2-dev libxslt1-dev python3-dev  python3-venv
python3 -m venv env3
source bin/activate
pip install -r requirements.txt 
python scraper.py

Producción

Ver en morph.io

TODO

  • Arreglar bug en columna de estado_civil (sale parte del Curriculum)

Contributors andreslucena PabloCastellano

Last run failed with status code 999.

Console output of last run

Please install the Morph Github App on andreslucena so that Morph can access this repository on GitHub. Please go to https://github.com/apps/morph-io/installations/new/permissions?repository_ids%5B%5D=49777207&suggested_target_id=717367 Why? See https://morph.io/documentation/github_app

Data

Downloaded 14 times by andreslucena MikeRalphson davidemdot PabloCastellano BlackOsint

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (429 KB) Use the API

rows 10 / 382

url_foto apellidos cargos_anteriores pos_fila id cargo nombre email partido curriculum grupo_parlamentario declaracion_bienes_url pos_butaca declaracion_actividades_url circunscripcion nacimiento pos_sector legislatura comisiones estado_civil twitter facebook_url web flickr_url linkedin_url youtube_url instagram_url url
url_foto apellidos
Ibáñez Gimeno
cargos_anteriores
Diputado de la X legislatura
pos_fila
8
id
384
cargo
Diputado
nombre
 Manuel
email
partido
PP
curriculum
Licenciado en Medicina y Cirugía por la Universidad de Zaragoza 1973-1979. Médico Inspector. Candidato a las elecciones municipales del año 1995. Onda (Castellón)
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
18
declaracion_actividades_url circunscripcion
Castellón
nacimiento
1 de enero de 1955
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Sanidad y Servicios Sociales; Comisión Mixta Control Parlam. de la Corporación RTVE y sus Sociedades; Comisión para el Estudio del Cambio Climático
estado_civil
Casado. 2 hijos.
twitter
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Jiménez Díaz
cargos_anteriores
Diputada de la X legislatura
pos_fila
8
id
353
cargo
Diputada
nombre
 María Piedra Escrita
email
mariap.jimenez@congreso.es
partido
PP
curriculum
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
17
declaracion_actividades_url circunscripcion
Badajoz
nacimiento
12 de enero de 1951 en Campanario (Badajoz)
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Hacienda y Administraciones Públicas; Comisión Mixta para el Estudio del Problema de las Drogas; Comisión para el Estudio del Cambio Climático; Ponencia de estudio de perspectivas en abordaje de adicciones (154/5)
estado_civil
Casada, 5 hijos. Maestra. Jubilación anticipada LOE. 2007-2011 Alcaldesa de Campanario (Badajoz)
twitter
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Jiménez Mínguez
cargos_anteriores
Diputada de la X legislatura
pos_fila
8
id
363
cargo
Diputada
nombre
 Encarnación
email
partido
PP
curriculum
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
16
declaracion_actividades_url circunscripcion
Guadalajara
nacimiento
15 de febrero de 1966 en Landete (Cuenca)
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Hacienda y Administraciones Públicas; Comisión de Fomento; Comisión de Industria, Energía y Turismo; Comisión de Cooperación Internacional para el Desarrollo; Comisión de Cultura; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión Mixta para las Relaciones con el Tribunal de Cuentas; Ponencia Proy. L.O. control deuda comercial sector público (121/63)
estado_civil
Licenciada en Derecho. Tercera Teniente de Alcalde del Ayuntamiento de Guadalajara.
twitter
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Marcos Domínguez
cargos_anteriores
Diputada de la X legislatura
pos_fila
8
id
377
cargo
Diputada
nombre
 Pilar
email
pilar.marcos@congreso.es
partido
PP
curriculum
Licenciada en Ciencias Económicas por la UAM (Premio Extraordinario de Licenciatura) Máster de Periodismo. (UAM) Diplomada IESE Directora de Publicaciones de la Fundación FAES (2006-2012). Coordinadora General de Estudios del Ayuntamiento de Madrid (2012). Secretaria de Formación Política del PP de Madrid. Miembro del Comité de Dirección del PP de Madrid
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
01
declaracion_actividades_url circunscripcion
Madrid
nacimiento
22 de mayo de 1962
pos_sector
3
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Economía y Competitividad; Comisión de Educación y Deporte; Comisión de Empleo y Seguridad Social; Comisión de Sanidad y Servicios Sociales; Comisión de Cultura; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Subcomisión de Estudio sobre las Redes Sociales (154/7)
estado_civil
Casada. Una hija.
twitter
pilarmarcosd
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Martín Pozo
cargos_anteriores
Diputada de la X legislatura
pos_fila
6
id
354
cargo
Diputada
nombre
 María Teresa
email
teresa.martin@congreso.es
partido
PP
curriculum
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
08
declaracion_actividades_url circunscripcion
Zamora
nacimiento
26 de febrero de 1966 en Zamora
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Empleo y Seguridad Social; Comisión de Sanidad y Servicios Sociales; Comisión de Cultura; Comisión de Igualdad; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión para las Políticas Integrales de la Discapacidad
estado_civil
Casada y madre de una hija. Licenciada en Derecho (Universidad de Salamanca) Funcionaria de Carrera Grupo A.1. Jefa Territorial de Familia e Igualdad de la Junta de Castilla y León. Vicesecretaria Provincial de Relaciones con la Sociedad.
twitter
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Martín Rodríguez
cargos_anteriores
Diputado de la X legislatura
pos_fila
7
id
361
cargo
Diputado
nombre
 Enrique Luis
email
enrique.martin@congreso.es
partido
PP
curriculum
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
16
declaracion_actividades_url circunscripcion
Palencia
nacimiento
14 de marzo de 1954
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión Constitucional; Comisión de Justicia; Comisión de Fomento; Comisión de Empleo y Seguridad Social; Comisión de Cultura; Comisión de Reglamento; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión Mixta para el Estudio del Problema de las Drogas; Ponencia encargada de estudiar la reforma del Reglamento (154/8)
estado_civil
Casado. 3 hijas. Licenciado en Derecho. Portavoz Diputación de Palencia (1991-1995) Primer Teniente de Alcalde del Ayuntamiento de Palencia (1995-1999) Presidente de la Diputación de Palencia (1999-2011)
twitter
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Micheo Carrillo-Albornoz
cargos_anteriores
Diputada de la X legislatura
pos_fila
8
id
369
cargo
Diputada
nombre
 Julia de
email
julietamicheo@congreso.es
partido
PP
curriculum
Bachelor Bussines Administration. Staffordshire University. Licenciada en Periodismo, Comunicación, Marketing, R.R.P.P. Asistente Parlamentario Vicepresidente del Congreso 1993-1996. Asesor Presidente del Congreso de los Diputados 1996-2000. Asesor Ministro de Defensa 2000-2004. Asesor Parlamentario Portavoz Comisión Constitucional 2004-2008. En la actualidad, Jefe de Gabinete del Coordinador de Justicia y Libertades Públicas del Partido Popular.
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
07
declaracion_actividades_url circunscripcion
Alicante
nacimiento
30 de julio de 1973 en Newcastle
pos_sector
3
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Interior; Comisión de Industria, Energía y Turismo; Comisión de Seguimto. y Evaluación de los Acuerdos del Pacto de Toledo; Comisión Mixta Control Parlam. de la Corporación RTVE y sus Sociedades; Subcomisión de Estudio sobre las Redes Sociales (154/7)
estado_civil
Soltera.
twitter
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Moreno Felipe
cargos_anteriores
Diputada de la X legislatura
pos_fila
8
id
356
cargo
Diputada
nombre
 Irene
email
irene.moreno@congreso.es
partido
PP
curriculum
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
14
declaracion_actividades_url circunscripcion
Albacete
nacimiento
21 de marzo de 1971 en Hellín
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Defensa; Comisión de Hacienda y Administraciones Públicas; Comisión de Educación y Deporte; Comisión de Empleo y Seguridad Social; Comisión de Industria, Energía y Turismo; Comisión de Cultura; Comisión de Igualdad; Comisión sobre Seguridad Vial y Movilidad Sostenible
estado_civil
Casada. Licenciada en Filología Francesa. Profesora de Secundaria de Francés. Secretaria del Partido Popular de Hellín. Concejal del Ayuntamiento de Hellín
twitter
IreneMorenopp
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Pastor González
cargos_anteriores
Diputado de la X legislatura
pos_fila
7
id
358
cargo
Diputado
nombre
 Ildefonso R.
email
ildefonso.pastor@congreso.es
partido
PP
curriculum
grupo_parlamentario
G.P. Popular ( GP )
declaracion_bienes_url pos_butaca
06
declaracion_actividades_url circunscripcion
Valladolid
nacimiento
15 de mayo de 1979 en Córdoba
pos_sector
3
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Asuntos Exteriores; Comisión de Presupuestos; Comisión de Empleo y Seguridad Social; Comisión de Industria, Energía y Turismo; Comisión de Cooperación Internacional para el Desarrollo
estado_civil
Casado. Licenciado en Derecho. Concejal en el Ayuntamiento de Valladolid (2007-2011) Senador en la IX Legislatura
twitter
ildepg
facebook_url web
flickr_url
linkedin_url
youtube_url
instagram_url
url
url_foto apellidos
Pérez Fernández
cargos_anteriores
Diputada de la X legislatura
pos_fila
7
id
375
cargo
Diputada
nombre
 Rosana
email
partido
BNG
curriculum
Funcionaria de la Consellería de Educación de la Xunta de Galicia. Concejala en A Pobra do Caramiñal durante 17 años. Diputada Provincial en la Diputación de A Coruña del 2007 a 2011. Portavoz del Grupo Provincial del BNG.
grupo_parlamentario
G.P. Mixto ( GMx )
declaracion_bienes_url pos_butaca
02
declaracion_actividades_url circunscripcion
Coruña
nacimiento
21 de diciembre de 1964
pos_sector
2
legislatura
X Legislatura ( 2011-Actualidad )
comisiones
Comisión de Fomento; Comisión de Educación y Deporte; Subcomisión estudio y análisis sistema ferroviario español (154/10)
estado_civil
Casada. Una hija.
twitter
RosanaPerezGZ
facebook_url
web
flickr_url
linkedin_url
youtube_url
instagram_url
url

Statistics

Average successful run time: 23 minutes

Total run time: 11 days

Total cpu time used: about 1 hour

Total disk space used: 511 KB

History

  • Auto ran and failed .
  • Auto ran and failed .
  • Auto ran and failed .
  • Auto ran and failed .
  • Auto ran and failed .
  • ...
  • Created on morph.io

Show complete history

Scraper code

Python

congreso_datos_diputado / scraper.py