Как скачать сайт из Wayback Machine

Задача «скачать сайт из веб-архива» выглядит как одна кнопка, но распадается на две: получить список того, что архив сохранил, и забрать каждый файл. Ниже — как это делается вручную, чем автоматизируется и где обычно ломается.

1. Что именно можно скачать

Главное ограничение: архив хранит не «сайт», а отдельные ответы сервера на отдельные адреса. Всё, что не было запрошено краулером, отсутствует — и никакой инструмент этого не изменит.

2. Как устроены адреса архива

Адрес снимка выглядит так:

https://web.archive.org/web/20240101120000/https://example.com/about/

Где 20240101120000 — метка времени снимка. Если указать только год, архив сам выберет ближайший снимок.

К метке можно добавить модификатор:

Разница принципиальная. Без id_ в HTML все ссылки ведут обратно на web.archive.org, и локальная копия будет ходить в интернет вместо своих файлов. Поэтому при скачивании для восстановления берут именно id_:

https://web.archive.org/web/20240101120000id_/https://example.com/about/

3. Скачать одну страницу

1. Откройте web.archive.org и введите адрес страницы.
2. Выберите нужную дату в календаре снимков.
3. Добавьте id_ к метке времени и нажмите Enter — браузер покажет исходный файл.
4. Сохраните: Ctrl+S → «Веб-страница, только HTML».

Так вы получите текст и разметку. Стилей и картинок в файле не будет — они подключаются по своим адресам, которых на диске нет. Для одной страницы это решается сохранением «Веб-страница, полностью», для сайта — нет: браузер заберёт ресурсы только одной страницы.

4. Скачать сайт целиком

Порядок одинаковый у любого инструмента: сначала список, потом загрузка.

Шаг 1. Получить список адресов

Список отдаёт CDX-индекс — служебный интерфейс архива:

https://web.archive.org/cdx/search/cdx?url=example.com&matchType=domain&output=json&collapse=urlkey&fl=timestamp,original,mimetype,statuscode

Параметры, которые важны:

• matchType=domain — все поддомены, а не одна страница;
• collapse=urlkey — одна строка на адрес вместо всех снимков;
• fl — какие поля вернуть: метка, адрес, тип, код ответа;
• filter=statuscode:200 — отбросить редиректы и ошибки.

На выходе — таблица «метка, адрес, тип». Это и есть план загрузки.

Шаг 2. Забрать файлы

Для каждого адреса запрос идёт в режиме id_ с той меткой, что в списке:

https://web.archive.org/web/20240101120000id_/https://example.com/about/

Дальше начинается техническая часть, из-за которой самодельные скрипты обычно и останавливаются: лимиты архива (коды 429 и 503), обрывы соединений, тысячи адресов, повторная загрузка уже скачанного после перезапуска, ответы с кодом 200 и заглушкой внутри.

5. Инструменты и их пределы

Практический вывод: wget и HTTrack хороши, когда есть список прямых адресов файлов на живом сервере. С архивом основная работа — не скачивание, а подготовка списка и обход лимитов.

6. Типичные ошибки

• Скачали без id_. Копия открывается, но тянет ресурсы с web.archive.org и разваливается без интернета.
• Забрали только HTML. Нет стилей, скриптов и картинок — нужен проход по всем типам файлов, а не только по text/html.
• Игнорировали коды ответов. Архив умеет отдавать 200 с заглушкой внутри; такой файл лучше отбросить, чем сохранить как страницу.
• Упёрлись в лимит. 429 и 503 — не сбой, а просьба подождать; без пауз и повторов загрузка встаёт на середине.
• Забыли про кодировку. Страницы 2010-х часто в windows-1251; без перекодировки в UTF-8 вместо текста будут кракозябры.

7. Что делать после скачивания

Файлы на диске — ещё не сайт: нужно переписать ссылки в относительные, подставить ресурсы из кэша CMS, привести кодировки и открыть копию через локальный сервер. Полный порядок с проверками — в разборе как восстановить сайт из веб-архива.

Если архив ничего не сохранил, а сайт нужен — смотрите что делать, когда хостинг потерял данные: там порядок поиска других источников, домен и почта.

Частые вопросы

Можно ли скачать сайт из Wayback Machine целиком?

Да, но не кнопкой. Wayback Machine отдаёт файлы по одному адресу, поэтому сначала получают список сохранённых адресов через CDX, а затем скачивают каждый. Готовые инструменты автоматизируют именно эти два шага.

Зачем нужен id_ в адресе?

Без него архив отдаёт страницу с собственной панелью и переписанными ссылками на web.archive.org. С id_ приходит исходный файл, и такую копию можно собирать локально.

Почему после скачивания нет стилей и картинок?

Потому что скачана только HTML-страница. Стили, скрипты и изображения — отдельные файлы по своим адресам, их нужно забирать тем же проходом по списку из CDX.

Сколько страниц можно скачать за один раз?

CDX отдаёт до 50 000 адресов на домен за запрос, больше — постранично. Реальный предел задают лимиты архива на частоту запросов с одного IP, а не размер списка.

Законно ли скачивать чужой сайт из архива?

Скачивать для личного анализа — как правило, да. Публиковать копию чужого сайта нельзя: контент защищён авторским правом, а у Internet Archive есть условия использования.

Смежные разборы

• CDX API: как получить все страницы — разбор параметров выгрузки
• Почему картинки не восстанавливаются — что не попадёт в загрузку
• Site Restorer и HTTrack — чем отличается от обычного копировальщика

Материал описывает публичные возможности Internet Archive и практику восстановления сайтов. Обновлено 10 ноября 2026.