гиперссылок в решениях Верховного суда США больше не ведут к материалам, на которые они ссылаются
Зиттрейн, Альберт и Лессиг, Harvard Law Review Forum — выборочная проверка цитирований за период до October Term 2011, опубликовано в 2014 году
Половина ссылок, на которые судья Верховного суда США опирается как на юридический источник, сегодня ведут в никуда. Эта цифра, опубликованная в Harvard Law Review Forum в 2014 году, оказалась не разовым курьёзом. Это было раннее измерение скорости распада, которую десятилетие спустя подтвердил и Pew Research Center уже для всего веба: четверть из почти миллиона выборочных страниц за 2013–2023 годы оказались недоступны к октябрю 2023-го, а самая старая когорта в этой выборке потеряла целых 38% своих страниц. Веб-контент не исчезает разом. У него есть кривая распада, и для нескольких распространённых типов страниц — судебных цитирований, новостных ссылок, ссылок в Википедии — эта кривая круче, чем обычно предполагают издатели.
Суд, который цитирует интернет, и интернет, который забывает
Джонатан Зиттрейн, Кендра Альберт и Лоуренс Лессиг проанализировали гиперссылки в сносках трёх гарвардских журналов и в каждом опубликованном решении Верховного суда США, а затем провели двухэтапную проверку: сначала автоматический тест HTTP-статуса, затем ручное прочтение каждой «рабочей» ссылки, чтобы подтвердить, что она по-прежнему показывает материал, заявленный в сноске. Сама автоматическая проверка занижала масштаб проблемы — среди ссылок, вернувших обычный статус 200 в выборке Верховного суда, лишь 76% действительно вели к процитированному материалу. Объединив оба теста, авторы установили, что 50% URL-адресов, процитированных Верховным судом, и более 70% URL-адресов в Harvard Law Review, Harvard Journal of Law and Technology и Harvard Human Rights Journal больше не показывают информацию, на которую изначально ссылались.
Эта цифра в 50% заметно превышает более ранний, смежный подсчёт: исследование Райзел Либлер и Джун Либерт по цитированиям Верховного суда за 1996–2010 годы определило долю «недействительных» ссылок в 29%. Разница объясняется методологией, а не противоречием — Либлер и Либерт считали только прямые страницы-ошибки, тогда как Зиттрейн, Альберт и Лессиг ловили ещё и ссылки, которые открываются нормально, но незаметно ведут на изменённый или заменённый контент. Оба варианта — реальные формы отказа; просто они измеряют разные вещи.
Десятилетие страниц, прослеженное год за годом
Анализ Pew Research Center 2024 года взял более широкую, уже не юридическую выборку: примерно 90 000 страниц в год из архива Common Crawl за каждый год с 2013 по 2023-й — чуть меньше миллиона страниц в общей сложности, — и перепроверил их в октябре 2023-го. Четверть оказалась недоступна: 16 процентных пунктов дали отдельные страницы, исчезнувшие с иначе рабочих сайтов, а 9 пунктов — целые домены, исчезнувшие полностью. Возраст оказался главной переменной, и картина год за годом читается как кривая полураспада в реальном времени.
| Год, когда страница собрана | Примерный возраст на октябрь 2023 | Доля недоступных |
|---|---|---|
| 2013 | ~10 лет | 38% |
| 2014 | ~9 лет | 35% |
| 2015 | ~8 лет | 31% |
| 2016 | ~7 лет | 30% |
| 2017 | ~6 лет | 26% |
| 2018 | ~5 лет | 31% |
| 2019 | ~4 года | 32% |
| 2020 | ~3 года | 27% |
| 2021 | ~2 года | 22% |
| 2022 | ~1 год | 15% |
| 2023 | <1 года | 8% |
Кривая не идеально гладкая — страницы 2018 и 2019 годов потеряны чуть больше, чем страницы 2016 и 2017 годов, — но направление неизменно: страницы, собранные в 2021 году, уже потеряли примерно каждую пятую из своего состава за два года, а к десятилетней отметке исчезает более трети веба конкретного года.
Институты гниют с разной скоростью
Второй этап исследования Pew смотрел не на то, выживают ли сами страницы, а на то, работают ли ссылки внутри выживших страниц. В выборке государственных, новостных страниц и страниц Википедии по состоянию на весну 2023 года: 23% новостных веб-страниц содержали хотя бы одну нерабочую ссылку, как и 21% государственных веб-страниц — при этом хуже всего дело обстояло на сайтах городских властей (29% страниц с хотя бы одной нерабочей ссылкой, 13% всех проверенных ссылок), а лучше всего — на сайтах органов власти штатов (15% страниц, 4% ссылок). Разделы «Ссылки» в Википедии показали результат ещё хуже: 54% страниц Википедии содержали хотя бы одну мёртвую ссылку-источник. В X (бывшем Twitter) распад идёт ещё быстрее: почти каждый пятый твит из выборки весны 2023 года за три месяца перестал быть публично видимым, причём три пятых этих потерь связаны с заблокированными, удалёнными или переведёнными в приватный режим аккаунтами, а не с удалением отдельных постов.
Вместе эти два исследования очерчивают одно и то же явление с противоположных сторон: суды и журналы цитируют веб так, будто это печать, тогда как десятилетняя выборка Pew показывает, что в основе лежит материал с периодом полураспада самое большее около десяти лет. Цитата, список источников или обратная ссылка настолько же долговечны, насколько долговечна страница, на которую они указывают, — поэтому архивные сервисы, созданные именно для устойчивости цитирований, такие как Perma.cc для юридических материалов и шире Wayback Machine от Internet Archive, существуют как прямой институциональный ответ на эти цифры, а не как удобство общего назначения.
Методология
- Источники
- Jonathan Zittrain, Kendra Albert & Lawrence Lessig, «Perma: Scoping and Addressing the Problem of Link and Reference Rot in Legal Citations», первоначально опубликовано как 127 Harv. L. Rev. F. 176 (2014), перепечатано в Legal Information Management 14 (2014), с. 88–99 — гиперссылки из сносок взяты из Harvard Law Review, Harvard Journal of Law and Technology и Harvard Human Rights Journal (дата сбора 7 сентября 2012 года), а также из всех опубликованных решений Верховного суда США вплоть до October Term 2011 включительно; проверено автоматическим тестом HTTP-статуса вместе с ручной проверкой содержимого на выборке с погрешностью 5%. Raizel Liebler & June Liebert, «Something Rotten in the State of Legal Citation», Yale Journal of Law & Technology, процитированное в вышеуказанной работе, охватывает цитирования Верховного суда за 1996–2010 годы. Pew Research Center, «When Online Content Disappears», опубликовано 17 мая 2024 года (авторы: Athena Chapekis, Samuel Bestvater, Emma Remy, Gonzalo Rivero) — случайная выборка из 999 989 URL-адресов из веб-репозитория Common Crawl (~90 000 в год, 2013–2023), повторно проверенная в октябре 2023 года; отдельная выборка примерно из 500 000 веб-страниц государственных органов США (обход Common Crawl за март–апрель 2023 года, проанализировано ~4,2 млн ссылок) и новостных веб-страниц, определённых по данным доменов comScore; ссылки в разделах «Ссылки» Википедии выбраны через архив Wikimedia Foundation; и выборка постов X/Twitter в реальном времени, собранная весной 2023 года и отслеженная в течение трёх месяцев через Twitter Search API.
- Границы охвата
- Показатели Гарвардского исследования по Верховному суду и журналам отражают цитирования, собранные в 2012 году, а не текущую практику — с тех пор суды и журналы стали использовать инструменты постоянных ссылок вроде Perma.cc, которые эти данные не охватывают и не могут измерить. Показатель 50% для Верховного суда и показатель 29% Либлер и Либерт напрямую не сопоставимы, поскольку используют разные определения отказа ссылки (с учётом несовпадения содержимого против учёта только HTTP-ошибок). Государственная и новостная выборки Pew относятся именно к доменам США (.gov и издания, отслеживаемые comScore); исследование не приводит сопоставимых показателей для государственных или новостных доменов Великобритании, ЕС или других стран. Определение «недоступности» у Pew намеренно консервативное — страницы, которые по-прежнему открываются, но изменили содержимое, или нечитаемые по причинам доступности, не засчитываются как отказы, поэтому реальный распад контента этими цифрами скорее занижен, чем завышен.
- Обновления
- Этот материал будет пересматриваться по мере появления новых данных. Исправления рассматриваются согласно нашей политике исправлений.