Собрать данные портала "База данных рассекреченных дел и документов федеральных государственных архивов" (unsecret.rusarchives.ru)

[ivbeg]

Цель

На портале unsecret.rusarchives.ru размещена общедоступная база рассекреченных документов. Необходимо собрать данные из этой базы и выложить их как открытые данные.

Задача

• выбрать язык программирования Python / R или иной, на выбор
• написать парсер для сайта unsecret.rusarchives.ru
• выгрузить все данные в формате CSV или JSON или XML
• загрузить набор данных на хаб открытых данных hubofdata.ru

Требования

• открытый исходный код в Github под свободной лицензией
• открытые данные под лицензией Creative Commons

Пожелания

• сделать описание к выгруженным данным. Структуры данных и набора целиком.

Оценки трудоёмкости

Ожидаемое время на задачу не более 1 дня

Вспомогательные материалы:

• База данных рассекреченных дел и документов федеральных государственных архивов http://unsecret.rusarchives.ru

Вопросы

Вопросы можно писать на ibegtin@infoculture.ru или в комментариях к этой задаче

[ratred]

Иван, подскажите пожалуйста, закончена ли эта задача? Сделал нечто подобное, но страдаю от тормознутости и падений этого unsecret.

[ivbeg]

@ratred увы никто за задачу не взялся, она так и висит нереализованной

[ratred]

https://github.com/ratred/unsecret

Вот скрипт. Надеюсь, кто нибудь более терпеливый, чем я, докачает всё до конца. Сайт, увы, отдаёт страницы (по пять записей на страницу) минуту и дольше. Иногда падает и чтобы его подняли приходится звонить в само архивное агентство.

[ratred]

https://hubofdata.ru/dataset/unsecret_docs
https://hubofdata.ru/dataset/unsecret_cases

[ivbeg]

@ratred спасибо!

[ratred]

Первая же попытка получить в ГАРФ документ из этой базы привела к неустранимой коллизии - опись документов находится на секретном хранении. Документ из такой описи, будь он хоть трижды рассекречен, заказать нельзя. :)

[ivbeg]

@ratred вот это неожиданный поворот! интересно удалось ли хоть кому-то?

[ratred]

База, тем временем, у них снова сломалась и кажется на этот раз навсегда. :-)

[ivbeg]

База, тем временем, у них снова сломалась и кажется на этот раз навсегда. :-)

тем ценнее то успели её сохранить

[ratred]

Иван, а как восстановить пароль на hubofdata, если знаешь только мэйл, с которого регался, а логин нет? Если вбивать мэйл в поле он не находит. :)

[ratred]

@ratred вот это неожиданный поворот! интересно удалось ли хоть кому-то?

Нам в итоге удалось. Мы даже книжку написали. :)

[ivbeg]

Иван, а как восстановить пароль на hubofdata, если знаешь только мэйл, с которого регался, а логин нет? Если вбивать мэйл в поле он не находит. :)
Напишите мне email