Скрапинг 241 порталов планирования советов Великобритании — 2,6 млн решений зафиксировано
rss:Hacker News: Front Page · оригинал
Автор провел скрапинг 241 портала местных советов Великобритании (Англия, Шотландия и Уэльс), собрав 2,6 млн решений по планированию. Собранная информация включает данные о коэффициенте одобрения (88% в среднем) и задержках в принятии решений, что помогает анализировать эффективность работы местных органов власти.
Ценность: Этот проект важен, так как данные о планировании в Великобритании технически доступны, но физически разбросаны по 400+ порталах с разными структурами и блокировками. Сбор и анализ этих данных позволяет гражданам и исследователям понимать, как работают местные советы, выявлять проблемы в процессе принятия решений и оценивать эффективность административной работы.
Собираемые данные о планировании в Великобритании обычно публикуются в открытом доступе, но их трудно использовать из-за разнообразия систем порталов местных советов. Некоторые портала, такие как те, которые используют старые версии ASP.NET, работают по 2004 год, другие защищены AWS WAF и требуют обхода JavaScript-челленджей. Для решения этой задачи автор разработал несколько скраперов: стандартный, основанный на requests; Playwright-скрапер для обхода блокировок с помощью эмуляции браузера; и curl_cffi для работы с TLS-фингерпринтом. Несмотря на успех, некоторые порталы, например, Ливерпуля, остаются недоступными из-за строгих лимитов IP. В результате было собрано 2,6 млн решений, из которых выявлено, что средний коэффициент одобрения составляет 88%, однако в отдельных районах показатели сильно различаются. Также проанализированы данные о времени принятия решений: в 2025 году 36,5% заявок на строительство превышали 8-недельный срок, по сравнению с 27,9% в 2019 году. В частности, в Гилфорде 66% решений задерживаются более чем на 13 недель. На данный момент проект представлен как бесплатный почтовый проверщик и платные отчеты на сайте planninglens.co.uk. Собранная информация может быть полезна для граждан, исследователей и органов власти, чтобы понять и улучшить процесс планирования.