This is a scraper that runs on morph.io to collect details of every recorded vote in the Ukrainian parliament. It's intended to be used by a project to bring They Vote For You to Ukraine.
It saves data to morph.io in a flat format that can be converted easily into Popolo. You can use the little Sinatra proxy, morph_popolo to do exactly that.
This scraper is designed to run automatically each day. It checks the most recent data in the database and tries to scrape all dates up until the present day.
If you'd like to scrape a different day, perhaps because of a problem scraping a particular date, you can set environment variables to tell the scraper what days to scrape.
MORPH_ONLY_PARSE_DATE
: Set this to a date, e.g. "2016-01-20", to only scrape a specific day. Useful if you're debugging a problem scraping that day.
MORPH_START_DATE
: Set this to a date, e.g. "2016-01-20", to scrape every day from that date until the present day. Useful if you're backfilling data in the scraper.
These can be set in the morph.io Settings for this scraper. Don't forget to remove them when you're done so the scraper goes back to working how it usually does.
All these URLs have obvious IDs you can change to get other pages:
That loads this via AJAX for each session (the nom_s
parameter is the session number): http://w1.c1.rada.gov.ua/pls/radangs09/nsell?noms=3&ss=3
Plenary session day without votes: http://w1.c1.rada.gov.ua/pls/radangs09/nselh2?data=01092015&noms=3
Plenary session day with votes: http://w1.c1.rada.gov.ua/pls/radangs09/nselh2?data=02092015&noms=3
Vote event detail page: http://w1.c1.rada.gov.ua/pls/radangs09/nsgolos?g_id=3479
To download data sign in with GitHub
rows 10 / 22200
organization_id | identifier | title | start_date | result | source_url | debate_url |
---|---|---|---|---|---|---|
rada
|
20
|
Поіменне голосування про проект Постанови про Тимчасову президію першої сесії Верховної Ради України восьмого скликання (№1001) - за основу та в цілому
|
2014-11-27T12:11:00+00:00
|
pass
|
||
rada
|
21
|
Поіменне голосування про проект Постанови про порядок денний першої сесії Верховної Ради України восьмого скликання на період розгляду організаційних питань першої сесії Верховної Ради України восьмого скликання (№1002) - за основу та в цілому
|
2014-11-27T12:14:00+00:00
|
pass
|
||
rada
|
22
|
Поіменне голосування про проект Постанови про Лічильну комісію Верховної Ради України восьмого скликання (№1005) - за основу та в цілому
|
2014-11-27T12:41:00+00:00
|
pass
|
||
rada
|
23
|
Поіменне голосування про роботу без перерви до завершення розгляду питань порядку денного
|
2014-11-27T13:52:00+00:00
|
pass
|
||
rada
|
24
|
Поіменне голосування про проект Постанови про Голову Верховної Ради України (№1006) - за основу та в цілому
|
2014-11-27T14:02:00+00:00
|
pass
|
||
rada
|
25
|
Поіменне голосування про проект Постанови про призначення Яценюка А.П. Прем'єр-міністром України (№1007) - за основу та в цілому
|
2014-11-27T14:59:00+00:00
|
pass
|
||
rada
|
26
|
Поіменне голосування про проект Постанови про порядок висвітлення роботи Верховної Ради України восьмого скликання (№1003) - за основу та в цілому
|
2014-11-27T15:03:00+00:00
|
pass
|
||
rada
|
52
|
Поіменне голосування про продовження вечірнього пленарного засідання до завершення розгляду питань порядку денного
|
2014-12-02T12:36:00+00:00
|
pass
|
||
rada
|
54
|
Поіменне голосування про проект Постанови про призначення Клімкіна П.А. Міністром закордонних справ України (№1166) - за основу та в цілому
|
2014-12-02T17:58:00+00:00
|
pass
|
||
rada
|
55
|
Поіменне голосування про проект Постанови про призначення Полторака С.Т. Міністром оборони України (№1167) - за основу та в цілому
|
2014-12-02T18:08:00+00:00
|
pass
|
To download data sign in with GitHub
rows 10 / 9367473
vote_event_id | voter_id | option | group_id |
---|---|---|---|
20
|
2524
|
yes
|
party/Позафракційні
|
20
|
15650
|
yes
|
party/Позафракційні
|
20
|
15669
|
yes
|
party/Позафракційні
|
20
|
16067
|
yes
|
party/Позафракційні
|
20
|
17993
|
yes
|
party/Позафракційні
|
20
|
12290
|
yes
|
party/Позафракційні
|
20
|
15839
|
yes
|
party/Позафракційні
|
20
|
17983
|
yes
|
party/Позафракційні
|
20
|
18058
|
yes
|
party/Позафракційні
|
20
|
11118
|
yes
|
party/Позафракційні
|
To download data sign in with GitHub
rows 10 / 21617
official_id | title | url | vote_event_id |
---|---|---|---|
1001
|
Проект Постанови про Тимчасову президію першої сесії Верховної Ради України восьмого скликання
|
20
|
|
1002
|
Проект Постанови про порядок денний першої сесії Верховної Ради України восьмого скликання на період розгляду організаційних питань першої сесії Верховної Ради України восьмого скликання
|
21
|
|
1005
|
Проект Постанови про Лічильну комісію Верховної Ради України восьмого скликання
|
22
|
|
1006
|
Проект Постанови про Голову Верховної Ради України
|
23
|
|
1006
|
Проект Постанови про Голову Верховної Ради України
|
24
|
|
1007
|
Проект Постанови про призначення Яценюка А.П. Прем'єр-міністром України
|
25
|
|
1003
|
Проект Постанови про порядок висвітлення роботи Верховної Ради України восьмого скликання
|
26
|
|
1166
|
Проект Постанови про призначення Клімкіна П.А. Міністром закордонних справ України
|
54
|
|
1167
|
Проект Постанови про призначення Полторака С.Т. Міністром оборони України
|
55
|
|
1008
|
Проект Постанови про формування складу Кабінету Міністрів України
|
56
|
Average successful run time: 6 minutes
Total run time: 29 days
Total cpu time used: about 17 hours
Total disk space used: 562 MB