Період напіврозпаду вебсторінки

Половина посилань, на які суддя Верховного суду США спирається як на юридичне джерело, сьогодні ведуть у нікуди. Ця цифра, опублікована в Harvard Law Review Forum 2014 року, виявилася не одноразовою курйозністю. Це був ранній замір швидкості розпаду, яку через десятиліття підтвердив і Pew Research Center уже для всього вебу: чверть із майже мільйона вибіркових сторінок за 2013–2023 роки виявилися недоступними до жовтня 2023-го, а найстаріша когорта у цій вибірці втратила цілих 38% своїх сторінок. Вебконтент не зникає одним махом. У нього є крива розпаду, і для кількох поширених типів сторінок — судових цитувань, новинних посилань, посилань у Вікіпедії — ця крива крутіша, ніж зазвичай припускають видавці.

Суд, що цитує інтернет, і інтернет, що забуває

Джонатан Зіттрейн, Кендра Альберт і Лоуренс Лессіг проаналізували гіперпосилання у виносках трьох гарвардських журналів і в кожному опублікованому рішенні Верховного суду США, а тоді провели двоетапну перевірку: спершу автоматичний тест HTTP-статусу, потім ручне прочитання кожного «робочого» посилання, щоб підтвердити, що воно й досі показує матеріал, заявлений у виносці. Сама автоматична перевірка применшувала масштаб проблеми — серед посилань, що повертали звичайний статус 200 у вибірці Верховного суду, лише 76% справді вели до процитованого матеріалу. Об’єднавши обидва тести, автори з’ясували, що 50% URL-адрес, процитованих Верховним судом, і понад 70% URL-адрес у Harvard Law Review, Harvard Journal of Law and Technology та Harvard Human Rights Journal більше не показують інформацію, на яку спочатку посилалися.

Ця цифра у 50% суттєво перевищує раніший, суміжний підрахунок: дослідження Райзел Ліблер і Джун Ліберт щодо цитувань Верховного суду за 1996–2010 роки визначило частку «недійсних» посилань у 29%. Розбіжність пояснюється методологією, а не суперечністю — Ліблер і Ліберт рахували лише прямі сторінки-помилки, тоді як Зіттрейн, Альберт і Лессіг ловили ще й посилання, які відкриваються нормально, але мовчки ведуть на змінений або замінений контент. Обидва варіанти — реальні форми відмови; просто вони вимірюють різні речі.

Десятиліття сторінок, простежене рік за роком

Аналіз Pew Research Center 2024 року взяв ширшу, вже не юридичну вибірку: приблизно 90 000 сторінок на рік із архіву Common Crawl за кожен рік від 2013 до 2023-го — трохи менше мільйона сторінок загалом, — і перевірив їх повторно у жовтні 2023-го. Чверть виявилася недоступною: 16 відсоткових пунктів дали окремі сторінки, що зникли з інакше робочих сайтів, а 9 пунктів — цілі домени, що зникли повністю. Вік виявився головною змінною, і картина рік за роком читається як крива напіврозпаду в реальному часі.

Крива не ідеально рівна — сторінки 2018 і 2019 років втрачені трохи більше, ніж сторінки 2016 і 2017 років, — але напрям незмінний: сторінки, зібрані 2021 року, уже втратили приблизно кожну п’яту зі своїх учасниць протягом двох років, а до десятирічної позначки зникає добряча третина вебу конкретного року.

Інституції гниють з різною швидкістю

Другий етап дослідження Pew дивився не на те, чи виживають самі сторінки, а на те, чи працюють посилання всередині сторінок, що вижили. У вибірці державних, новинних сторінок і сторінок Вікіпедії станом на весну 2023-го: 23% новинних вебсторінок містили щонайменше одне непрацююче посилання, так само як і 21% державних вебсторінок — причому найгірша ситуація була на сайтах міської влади (29% сторінок мали щонайменше одне непрацююче посилання, 13% усіх перевірених посилань), а найкраща — на сайтах органів влади штатів (15% сторінок, 4% посилань). Розділи «Посилання» у Вікіпедії показали ще гірший результат, ніж будь-що з переліченого: 54% сторінок Вікіпедії містили щонайменше одне мертве посилання-джерело. У X (колишньому Twitter) розпад іде ще швидше: майже кожен п’ятий твіт із вибірки весни 2023-го за три місяці перестав бути публічно видимим, причому три п’ятих цих втрат пов’язані із заблокованими, видаленими або переведеними в приватний режим акаунтами, а не з видаленням окремих постів.

Разом ці два дослідження окреслюють одне й те саме явище з протилежних боків: суди й журнали цитують веб так, ніби це друк, тоді як десятирічна вибірка Pew показує, що в основі лежить матеріал із періодом напіврозпаду щонайбільше близько десяти років. Цитування, список джерел чи зворотне посилання настільки ж довговічні, як і сторінка, на яку вони вказують, — тому архівні сервіси, створені саме для сталості цитувань, такі як Perma.cc для юридичних матеріалів і ширше Wayback Machine від Internet Archive, існують як пряма інституційна відповідь на ці цифри, а не як зручність загального призначення.

Методологія

Джерела

Jonathan Zittrain, Kendra Albert & Lawrence Lessig, «Perma: Scoping and Addressing the Problem of Link and Reference Rot in Legal Citations», спершу опубліковано як 127 Harv. L. Rev. F. 176 (2014), передруковано в Legal Information Management 14 (2014), с. 88–99 — гіперпосилання з виносок узято з Harvard Law Review, Harvard Journal of Law and Technology та Harvard Human Rights Journal (дата збору 7 вересня 2012 року), а також з усіх опублікованих рішень Верховного суду США до October Term 2011 включно; перевірено автоматичним тестом HTTP-статусу разом із ручною перевіркою вмісту на вибірці з похибкою 5%. Raizel Liebler & June Liebert, «Something Rotten in the State of Legal Citation», Yale Journal of Law & Technology, процитоване у вищезгаданій роботі, охоплює цитування Верховного суду за 1996–2010 роки. Pew Research Center, «When Online Content Disappears», опубліковано 17 травня 2024 року (автори: Athena Chapekis, Samuel Bestvater, Emma Remy, Gonzalo Rivero) — випадкова вибірка з 999 989 URL-адрес із вебрепозиторію Common Crawl (~90 000 на рік, 2013–2023), повторно перевірена в жовтні 2023 року; окрема вибірка приблизно з 500 000 вебсторінок державних органів США (обхід Common Crawl за березень–квітень 2023 року, проаналізовано ~4,2 млн посилань) і новинних вебсторінок, визначених через дані доменів comScore; посилання в розділах «Посилання» Вікіпедії вибрано через архів Wikimedia Foundation; і вибірка постів X/Twitter у реальному часі, зібрана навесні 2023 року й відстежена протягом трьох місяців через Twitter Search API.

Межі охоплення

Показники Гарвардського дослідження щодо Верховного суду й журналів відображають цитування, зібрані 2012 року, а не поточну практику — відтоді суди й журнали почали використовувати інструменти постійних посилань на кшталт Perma.cc, які ці дані не охоплюють і не можуть виміряти. Показник 50% для Верховного суду й показник 29% Ліблер і Ліберт напряму не порівнювані, оскільки використовують різні визначення відмови посилання (з урахуванням невідповідності вмісту проти врахування лише HTTP-помилок). Державна й новинна вибірки Pew стосуються саме доменів США (.gov і видання, відстежувані comScore); дослідження не наводить відповідних показників для державних чи новинних доменів Великої Британії, ЄС чи інших країн. Визначення «недоступності» у Pew навмисно консервативне — сторінки, які й досі відкриваються, але змінили вміст, або нечитабельні з міркувань доступності, не зараховуються як відмови, тож реальний розпад контенту цими цифрами радше применшено, ніж перебільшено.

Оновлення

Цей матеріал переглядатиметься в міру появи нових даних. Виправлення розглядаються згідно з нашою політикою виправлень.