search

opendataby / website

Сайт открытых данных Беларуси
https://opendata.by
8 stars 3 forks source link

Датасет (под)доменов opendata.by #30

Open abitrolly opened 5 years ago

abitrolly commented 5 years ago

В разделе проекты сайта есть куча проектов, у каждого из которых сайт типа http://elmachina.opendata.by/ но не все сайты живы. Было бы неплохо датасет по всем доменам вести. Какие из них живы, какие нет.

Для начал пройтись регекспом [.\w]*opendata.by по всем страницам сайта, отсортировать и закоммитить. Можно скрипт сделать, который ещё и статус будет проверять периодически.

abitrolly commented 5 years ago

Ну и если есть домены, которые не opendata.by то их тоже надо куда-то в скрипт запихать.

ushchent commented 5 years ago

Только просьба не ддосить проекты скриптами. Список уже есть на GH https://github.com/opendataby/metadata.

abitrolly commented 5 years ago

@ushchent так они и так лежат - http://elmachina.opendata.by/ - так что просьба не по адресу. Давай лучше посмотрим, как сделать так, чтобы не лежали.

abitrolly commented 5 years ago

В табличку нужна инфа статический сайт или нет, и если не статический, то что используется - язык программирования и БД если есть, очереди. Всё, что может жрать ресурсы.

ushchent commented 5 years ago

Давай лучше посмотрим, как сделать так, чтобы не лежали.

Чтобы проект работал и развивался, на него должен быть спрос. И наоборот, если спроса нет, то проект развивается только в исключительных случаях. Решить проблему спроса скриптами, на мой взгляд, не получится. Но буду рад ошибиться.

abitrolly commented 5 years ago

Спрос формируется тем, что люди шарят ссылки, поисковые движки их индексируют, и со временем (может лет 10) люди привыкают, что какие-то сайты есть. Но если сайт лежит, то ему ничего не поможет. Аптайм - важный показатель, но способность выживать ссылку на реддите - почти критический.