Період напіврозпаду вебсторінки

Половина посилань, на які суддя Верховного суду США спирається як на юридичне джерело, сьогодні ведуть у нікуди. Ця цифра, опублікована в Harvard Law Review Forum 2014 року, виявилася не одноразовою курйозністю. Це був ранній замір швидкості розпаду, яку через десятиліття підтвердив і Pew Research Center уже для всього вебу. Чверть із майже мільйона вибіркових сторінок за 2013-2023 роки виявилися недоступними до жовтня 2023-го. Найстаріша когорта у цій вибірці втратила цілих 38% своїх сторінок. Вебконтент не зникає одним махом. У нього є крива розпаду, і для кількох поширених типів сторінок (судові цитування, новинні посилання, посилання у Вікіпедії) ця крива крутіша, ніж зазвичай припускають видавці.

Суд, що цитує інтернет, і інтернет, що забуває

Джонатан Зіттрейн, Кендра Альберт і Лоуренс Лессіг проаналізували гіперпосилання у виносках трьох гарвардських журналів і в кожному опублікованому рішенні Верховного суду США. Далі провели двоетапну перевірку: спершу автоматичний тест HTTP-статусу, потім ручне прочитання кожного «робочого» посилання, щоб підтвердити, що воно й досі показує матеріал, заявлений у виносці. Сама автоматична перевірка применшувала масштаб проблеми: серед посилань, що повертали звичайний статус 200 у вибірці Верховного суду, лише 76% справді вели до процитованого матеріалу. Об’єднавши обидва тести, автори з’ясували таке. 50% URL-адрес, процитованих Верховним судом, більше не показують інформацію, на яку спочатку посилалися, і те саме стосується понад 70% URL-адрес у Harvard Law Review, Harvard Journal of Law and Technology та Harvard Human Rights Journal.

Ця цифра у 50% суттєво перевищує раніший, суміжний підрахунок: дослідження Райзел Ліблер і Джун Ліберт щодо цитувань Верховного суду за 1996-2010 роки визначило частку «недійсних» посилань у 29%. Розбіжність пояснюється методологією, а не суперечністю. Ліблер і Ліберт рахували лише прямі сторінки-помилки, тоді як Зіттрейн, Альберт і Лессіг ловили ще й посилання, які відкриваються нормально, але мовчки ведуть на змінений або замінений контент. Обидва варіанти: реальні форми відмови; просто вони вимірюють різні речі.

Десятиліття сторінок, простежене рік за роком

Аналіз Pew Research Center 2024 року взяв ширшу, уже не юридичну вибірку. Приблизно 90 000 сторінок на рік із архіву Common Crawl за кожен рік від 2013 до 2023-го, трохи менше мільйона сторінок загалом. Перевірив їх повторно у жовтні 2023-го. Чверть виявилася недоступною: 16 відсоткових пунктів дали окремі сторінки, що зникли з інакше робочих сайтів, а 9 пунктів: цілі домени, що зникли повністю. Вік виявився головною змінною, і картина рік за роком читається як крива напіврозпаду в реальному часі.

Крива не ідеально рівна: сторінки 2018 і 2019 років втрачені трохи більше, ніж сторінки 2016 і 2017 років. Але напрям незмінний: сторінки, зібрані 2021 року, уже втратили приблизно кожну п’яту зі своїх учасниць протягом двох років, а до десятирічної позначки зникає добряча третина вебу конкретного року.

Інституції гниють з різною швидкістю

Другий етап дослідження Pew дивився не на те, чи виживають самі сторінки, а на те, чи працюють посилання всередині сторінок, що вижили. У вибірці державних, новинних сторінок і сторінок Вікіпедії станом на весну 2023-го. 23% новинних вебсторінок містили щонайменше одне непрацююче посилання, так само як і 21% державних вебсторінок. Причому найгірша ситуація була на сайтах міської влади (29% сторінок мали щонайменше одне непрацююче посилання, 13% усіх перевірених посилань). Найкраща: на сайтах органів влади штатів (15% сторінок, 4% посилань). Розділи «Посилання» у Вікіпедії показали ще гірший результат: 54% сторінок Вікіпедії містили щонайменше одне мертве посилання-джерело. У X (колишньому Twitter) розпад іде ще швидше: майже кожен п’ятий твіт із вибірки весни 2023-го за три місяці перестав бути публічно видимим. Причому три п’ятих цих втрат пов’язані із заблокованими, видаленими або переведеними в приватний режим акаунтами, а не з видаленням окремих постів.

Разом ці два дослідження окреслюють одне й те саме явище з протилежних боків: суди й журнали цитують веб так, ніби це друк. Тоді як десятирічна вибірка Pew показує, що в основі лежить матеріал із періодом напіврозпаду щонайбільше близько десяти років. Цитування, список джерел чи зворотне посилання настільки ж довговічні, як і сторінка, на яку вони вказують. Тому архівні сервіси, створені саме для сталості цитувань, існують як пряма інституційна відповідь на ці цифри, а не як зручність загального призначення. Серед них Perma.cc для юридичних матеріалів і ширше Wayback Machine від Internet Archive.

Методологія

Джерела

Jonathan Zittrain, Kendra Albert & Lawrence Lessig, «Perma: Scoping and Addressing the Problem of Link and Reference Rot in Legal Citations», спершу опубліковано як 127 Harv. L. Rev. F. 176 (2014), передруковано в Legal Information Management 14 (2014), с. 88-99: гіперпосилання з виносок узято з Harvard Law Review, Harvard Journal of Law and Technology та Harvard Human Rights Journal (дата збору 7 вересня 2012 року), а також з усіх опублікованих рішень Верховного суду США до October Term 2011 включно; перевірено автоматичним тестом HTTP-статусу разом із ручною перевіркою вмісту на вибірці з похибкою 5%. Raizel Liebler & June Liebert, «Something Rotten in the State of Legal Citation», Yale Journal of Law & Technology, процитоване у вищезгаданій роботі, охоплює цитування Верховного суду за 1996-2010 роки. Pew Research Center, «When Online Content Disappears», опубліковано 17 травня 2024 року (автори: Athena Chapekis, Samuel Bestvater, Emma Remy, Gonzalo Rivero). Випадкова вибірка з 999 989 URL-адрес із вебрепозиторію Common Crawl (~90 000 на рік, 2013-2023), повторно перевірена в жовтні 2023 року; окрема вибірка приблизно з 500 000 вебсторінок державних органів США (обхід Common Crawl за березень-квітень 2023 року, проаналізовано ~4,2 млн посилань) і новинних вебсторінок, визначених через дані доменів comScore; посилання в розділах «Посилання» Вікіпедії вибрано через архів Wikimedia Foundation; і вибірка постів X/Twitter у реальному часі, зібрана навесні 2023 року й відстежена протягом трьох місяців через Twitter Search API.

Межі охоплення

Показники Гарвардського дослідження щодо Верховного суду й журналів відображають цитування, зібрані 2012 року, а не поточну практику. Відтоді суди й журнали почали використовувати інструменти постійних посилань на кшталт Perma.cc, які ці дані не охоплюють і не можуть виміряти. Показник 50% для Верховного суду й показник 29% Ліблер і Ліберт напряму не порівнювані, оскільки використовують різні визначення відмови посилання (з урахуванням невідповідності вмісту проти врахування лише HTTP-помилок). Державна й новинна вибірки Pew стосуються саме доменів США (.gov і видання, відстежувані comScore); дослідження не наводить відповідних показників для державних чи новинних доменів Великої Британії, ЄС чи інших країн. Визначення «недоступності» у Pew навмисно консервативне: сторінки, які й досі відкриваються, але змінили вміст, або нечитабельні з міркувань доступності, не зараховуються як відмови, тож реальний розпад контенту цими цифрами радше применшено, ніж перебільшено.

Оновлення

Цей матеріал переглядатиметься в міру появи нових даних. Виправлення розглядаються згідно з нашою політикою виправлень.

Оновлено 2026-08-03.