hombit / sai-tasks2019

0 stars 18 forks source link

Alpha-версия проекта для поиска статей в истине. #38

Closed Proton1904 closed 3 years ago

Proton1904 commented 3 years ago

см. README и комментарии в коде

Proton1904 commented 3 years ago

Хорошо, я учел данные замечания. Exception заменил на проверку статус кода, а не raise_for_status. Вроде бы это аналогично в данном случае. См. обновленный скрипт.

Также я добавил проверку на год последней публикации через истину, без поиска по doi. Это позволило немного ускорить работу скрипта - меньше запросов к doi.

А еще добавил парсинг аргументов. Они все опциональные, но теперь можно настраивать не только стартовую страницу поиска, но и конечную. И выбирать булевыми аргументами, искать статьи только в предыдущем месяце, только в текущем или в обоих. Сейчас еще обновлю requirements, т.к. появились новые библиотеки.

Proton1904 commented 3 years ago

P.S. Все равно есть ощущение, что определенная доля статей либо заливается на истину без указания doi, либо doi указывается неверно (на нескольких страницах сталкивался с тем, что адрес при переходе по doi просто не открывается), либо статья заливается с большим опозданием (несколько месяцев) по времени относительно времени публикации. Скрипт пишет предупреждения о таких случаях, и их довольно много. Все-таки надеюсь, что теряется не очень существенная доля статей.

hombit commented 3 years ago

Я думаю это нестрашно, плохие дои — не ваша проблема, а Истины

Proton1904 commented 3 years ago

Добавил несколько примеров в README.

Proton1904 commented 3 years ago

Добрый день. Сейчас я еще немного поработал над парсингом аргументов и поиском по спискам сотрудников. В последней версии булевы аргументы должны работать корректно - в ридми я тоже отразил эти изменения. А еще важное изменение - добавил еще один аргумент -r, по которому можно задать адрес организации в командную строку - это не обязательно должен быть гаиш. Можно выбрать в том числе любое подразделение гаиш, тогда поиск будет просматривать меньше страниц, и, соответственно, полный цикл работы скрипта займет меньшее время. Больше я пока ничего менять не планирую.

hombit commented 3 years ago

Отлично!