openaustralia / ukraine_verkhovna_rada_votes

Votes by deputies in the Ukrainian Parliament

README.md

Ukraine Verkhovna Rada Votes

This is a scraper that runs on morph.io to collect details of every recorded vote in the Ukrainian parliament. It's intended to be used by a project to bring They Vote For You to Ukraine.

It saves data to morph.io in a flat format that can be converted easily into Popolo. You can use the little Sinatra proxy, morph_popolo to do exactly that.

Choosing which days to scrape

This scraper is designed to run automatically each day. It checks the most recent data in the database and tries to scrape all dates up until the present day.

If you'd like to scrape a different day, perhaps because of a problem scraping a particular date, you can set environment variables to tell the scraper what days to scrape.

MORPH_ONLY_PARSE_DATE: Set this to a date, e.g. "2016-01-20", to only scrape a specific day. Useful if you're debugging a problem scraping that day.

MORPH_START_DATE: Set this to a date, e.g. "2016-01-20", to scrape every day from that date until the present day. Useful if you're backfilling data in the scraper.

These can be set in the morph.io Settings for this scraper. Don't forget to remove them when you're done so the scraper goes back to working how it usually does.

Helpful URLs

All these URLs have obvious IDs you can change to get other pages:

  • Calendar of sitting days: http://w1.c1.rada.gov.ua/pls/radangs09/nsel_h

  • That loads this via AJAX for each session (the nom_s parameter is the session number): http://w1.c1.rada.gov.ua/pls/radangs09/nsell?noms=3&ss=3

  • Plenary session day without votes: http://w1.c1.rada.gov.ua/pls/radangs09/nselh2?data=01092015&noms=3

  • Plenary session day with votes: http://w1.c1.rada.gov.ua/pls/radangs09/nselh2?data=02092015&noms=3

  • Vote event detail page: http://w1.c1.rada.gov.ua/pls/radangs09/nsgolos?g_id=3479

Contributors henare beastie87

Last run failed with status code 1.

Console output of last run

Injecting configuration and compiling... Injecting scraper and running... Checking for votes on: 2019-07-13 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=13072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-14 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=14072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-15 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=15072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-16 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=16072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-17 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=17072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-18 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=18072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-19 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=19072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-20 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=20072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-21 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=21072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-22 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=22072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-23 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=23072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-24 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=24072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-25 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=25072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-26 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=26072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-27 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-28 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=28072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-29 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=29072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-30 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=30072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-07-31 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=31072019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-01 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=01082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-02 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-03 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=03082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-04 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=04082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-05 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=05082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-06 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=06082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-07 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=07082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-08 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=08082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-09 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=09082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-10 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=10082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-11 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=11082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-12 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=12082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-13 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=13082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-14 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=14082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-15 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=15082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-16 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=16082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-17 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=17082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-18 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=18082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-19 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=19082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-20 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=20082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-21 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=21082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-22 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=22082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-23 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=23082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-24 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=24082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-25 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=25082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-26 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=26082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-27 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-28 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=28082019&nom_s=3 Found 0 vote events to scrape... Checking for votes on: 2019-08-29 Fetching plenary day: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=29082019&nom_s=3 Found 175 vote events to scrape... Fetching vote event page: http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=25 Querying morph.io scraper, openaustralia/ukraine_verkhovna_rada_deputies, for: SELECT DISTINCT COALESCE(faction_id, 'party/Позафракційні') AS faction_id, COALESCE(faction, 'Позафракційні') AS faction FROM 'data' Saving votes for faction: Позафракційні Querying morph.io scraper, openaustralia/ukraine_verkhovna_rada_deputies, for: select name, id from 'data' scraper.rb:75:in `person_name_to_id': Person ID not found for: Абрамович І.О. (RuntimeError) from scraper.rb:135:in `block (2 levels) in scrape_vote_event' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:187:in `block in each' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `upto' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `each' from scraper.rb:133:in `map' from scraper.rb:133:in `block in scrape_vote_event' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:187:in `block in each' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `upto' from /app/vendor/bundle/ruby/2.0.0/gems/nokogiri-1.6.6.2/lib/nokogiri/xml/node_set.rb:186:in `each' from scraper.rb:128:in `scrape_vote_event' from scraper.rb:181:in `block in scrape_sitting_date' from scraper.rb:180:in `each' from scraper.rb:180:in `scrape_sitting_date' from scraper.rb:208:in `block in <main>' from scraper.rb:206:in `each' from scraper.rb:206:in `<main>'

Data

Downloaded 468557 times by stoneguest openaustralia beastie87 henare lisoffsky savchukidze aberykolo naaanazar Viktorr123s zhemchuzhnykova MikeRalphson hmvs ivkil Sviatoslav-Babilia ap-Codkelden

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (562 MB) Use the API

rows 10 / 22200

organization_id identifier title start_date result source_url debate_url
rada
20
Поіменне голосування про проект Постанови про Тимчасову президію першої сесії Верховної Ради України восьмого скликання (№1001) - за основу та в цілому
2014-11-27T12:11:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=20
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
21
Поіменне голосування про проект Постанови про порядок денний першої сесії Верховної Ради України восьмого скликання на період розгляду організаційних питань першої сесії Верховної Ради України восьмого скликання (№1002) - за основу та в цілому
2014-11-27T12:14:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=21
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
22
Поіменне голосування про проект Постанови про Лічильну комісію Верховної Ради України восьмого скликання (№1005) - за основу та в цілому
2014-11-27T12:41:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=22
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
23
Поіменне голосування про роботу без перерви до завершення розгляду питань порядку денного
2014-11-27T13:52:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=23
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
24
Поіменне голосування про проект Постанови про Голову Верховної Ради України (№1006) - за основу та в цілому
2014-11-27T14:02:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=24
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
25
Поіменне голосування про проект Постанови про призначення Яценюка А.П. Прем'єр-міністром України (№1007) - за основу та в цілому
2014-11-27T14:59:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=25
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
26
Поіменне голосування про проект Постанови про порядок висвітлення роботи Верховної Ради України восьмого скликання (№1003) - за основу та в цілому
2014-11-27T15:03:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=26
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=27112014&nom_s=3
rada
52
Поіменне голосування про продовження вечірнього пленарного засідання до завершення розгляду питань порядку денного
2014-12-02T12:36:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=52
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02122014&nom_s=3
rada
54
Поіменне голосування про проект Постанови про призначення Клімкіна П.А. Міністром закордонних справ України (№1166) - за основу та в цілому
2014-12-02T17:58:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=54
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02122014&nom_s=3
rada
55
Поіменне голосування про проект Постанови про призначення Полторака С.Т. Міністром оборони України (№1167) - за основу та в цілому
2014-12-02T18:08:00+00:00
pass
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_golos?g_id=55
http://w1.c1.rada.gov.ua/pls/radan_gs09/ns_el_h2?data=02122014&nom_s=3

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (562 MB) Use the API

rows 10 / 9367473

vote_event_id voter_id option group_id
20
2524
yes
party/Позафракційні
20
15650
yes
party/Позафракційні
20
15669
yes
party/Позафракційні
20
16067
yes
party/Позафракційні
20
17993
yes
party/Позафракційні
20
12290
yes
party/Позафракційні
20
15839
yes
party/Позафракційні
20
17983
yes
party/Позафракційні
20
18058
yes
party/Позафракційні
20
11118
yes
party/Позафракційні

To download data sign in with GitHub

Download table (as CSV) Download SQLite database (562 MB) Use the API

rows 10 / 21617

official_id title url vote_event_id
1001
Проект Постанови про Тимчасову президію першої сесії Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1001&skl=9
20
1002
Проект Постанови про порядок денний першої сесії Верховної Ради України восьмого скликання на період розгляду організаційних питань першої сесії Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1002&skl=9
21
1005
Проект Постанови про Лічильну комісію Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1005&skl=9
22
1006
Проект Постанови про Голову Верховної Ради України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1006&skl=9
23
1006
Проект Постанови про Голову Верховної Ради України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1006&skl=9
24
1007
Проект Постанови про призначення Яценюка А.П. Прем'єр-міністром України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1007&skl=9
25
1003
Проект Постанови про порядок висвітлення роботи Верховної Ради України восьмого скликання
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1003&skl=9
26
1166
Проект Постанови про призначення Клімкіна П.А. Міністром закордонних справ України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1166&skl=9
54
1167
Проект Постанови про призначення Полторака С.Т. Міністром оборони України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1167&skl=9
55
1008
Проект Постанови про формування складу Кабінету Міністрів України
http://w1.c1.rada.gov.ua/pls/zweb2/webproc4_2?id=&pf3516=1008&skl=9
56

Statistics

Average successful run time: 6 minutes

Total run time: 29 days

Total cpu time used: about 17 hours

Total disk space used: 562 MB

History

  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • Auto ran revision c87099e9 and failed .
    nothing changed in the database
  • ...
  • Created on morph.io

Show complete history