![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
oio11Оригинал взят у ![[livejournal.com profile]](https://www.dreamwidth.org/img/external/lj-userinfo.gif)
uzverss в Копирование сайта для локального просмотра 11:52 pm - Копирование сайта для локального просмотра
$ wget -r -l0 -np -k -c http://нужный адрес
ещё вариант
wget -m -k -nv -np -p -U "Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)"
GNU Wget - утилита, предназначенная для скачивания файлов из интернета.
описание используемых параметров:
-r, --recursive рекурсивная выгрузка то есть не только файлы с главной страницы, но и все остальные, на которые ведут ссылки (ключ -l0 бесконечная вложенность ссылок)
-с --continue продолжения прерванной закачки (мало ли оборвалась...)
-m - опция зеркалирования, включающая рекурсию и учитывающая время обновления скачиваемых ресурсов. эквивалентна -r -N -l inf --no-remove-listing.
-k - после завершения закачки выполнится преобразование ссылок в документе для офлайнового просмотра закаченных ресурсов.
-nv - отключение всех дополнительных сообщений во время закачивания. даже если эта опция указана, на экран по-прежнему будут печататься сообщения об ошибках и основная информация.
-np - при рекурсивном скачивании эта опция гарантирует, что не будут закачиваться ресурсы выше по иерархии сайта. другими словами, при скачивании определенной ветки сайта будет скачена только эта ветка, а сайт целиком.
-p - скачаются все файлы, которые необходимы для корректного отображения закачиваемой HTML-страницы, включая картинки, звуки и т.п.
-U "Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" - определение строки User-Agent для HTTP сервера.
- собственно ссылка, с которой нужно начать закачивать сайт/ветку сайта.
Включение и исключение файлов при загрузке:
-A acclist или --accept acclist
-R rejlist или --reject rejlist
Задаёт разделяемые запятыми шаблоны имён файлов, которые следует загружать (acclist) или игнорировать (rejlist)
-H или --span-hosts
Разрешает wget скачивать данные с любого адреса, на который есть ссылка в запрашиваемом документе
Для простой загрузки файла наберем в терминале
wget http://mirror.suse.ru/distribution/1
Эта же команда с параметром "-c" или "-continue" продолжит оборванную загрузку.
wget -c http://mirror.suse.ru/distribution/1
По умолчанию файл будет сохранен в домашней директории пользователя, но если wget запустили из другой директории, то в ней и сохранится файл.
Для загрузки из файла, содержащего ссылки либо html-страницы нужно использовать параметр "-i"
wget -i mirrorlist
Для создания локальной копии сайта используется параметр "-m"
wget -m http://www.open-suse.ru
Кроме этого ключ "-r" означает рекурсивную загрузку, "-к" конвертирует ссылки в автономные для удобства просмотра, а "-np" не выпустит Wget выше начального адреса.
Другие полезные ключи:
Включение и исключение файлов при загрузке
-A acclist | -accept acclist
-R rejlist | -reject rejlist
Задаёт разделяемые запятыми шаблоны имён файлов, которые следует загружать (acclist) или игнорировать (rejlist).
-k | -convert-links
Превращает абсолютные ссылки (типа http://www...) в относительные (типа file///home/vasya/www/index.html) для удобства локального просмотра. Чтобы локально в броузере просмотреть скачанный сайт, открываете файл index.html в броузере и бродите по ссылкам точно так же, как если бы вы были подключены к Интернету.
-p --page-requisites
Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук и каскадные стили. После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.
Ограничение канала загрузки –limit-rate=значение в кб. Например:
wget --limit-rate=50k http://www....
Это приведет к тому, что скорость загрузки не будет превышать указанных в примере пятидесяти килобайт/сек.
http://www.opennet.ru/man.shtml?topic=w
Задача: хочется Teleport Pro и FlashGet для Linux.
Решение: откройте для себя wget - это программа скачивания сайтов, которая позволит вам скачать сайт целико
http://mydebianblog.blogspot.com/2007/09/wget.html
uzverss в Копирование сайта для локального просмотра$ wget -r -l0 -np -k -c http://нужный адрес
ещё вариант
wget -m -k -nv -np -p -U "Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)"
GNU Wget - утилита, предназначенная для скачивания файлов из интернета.
описание используемых параметров:
-r, --recursive рекурсивная выгрузка то есть не только файлы с главной страницы, но и все остальные, на которые ведут ссылки (ключ -l0 бесконечная вложенность ссылок)
-с --continue продолжения прерванной закачки (мало ли оборвалась...)
-m - опция зеркалирования, включающая рекурсию и учитывающая время обновления скачиваемых ресурсов. эквивалентна -r -N -l inf --no-remove-listing.
-k - после завершения закачки выполнится преобразование ссылок в документе для офлайнового просмотра закаченных ресурсов.
-nv - отключение всех дополнительных сообщений во время закачивания. даже если эта опция указана, на экран по-прежнему будут печататься сообщения об ошибках и основная информация.
-np - при рекурсивном скачивании эта опция гарантирует, что не будут закачиваться ресурсы выше по иерархии сайта. другими словами, при скачивании определенной ветки сайта будет скачена только эта ветка, а сайт целиком.
-p - скачаются все файлы, которые необходимы для корректного отображения закачиваемой HTML-страницы, включая картинки, звуки и т.п.
-U "Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" - определение строки User-Agent для HTTP сервера.
- собственно ссылка, с которой нужно начать закачивать сайт/ветку сайта.
Включение и исключение файлов при загрузке:
-A acclist или --accept acclist
-R rejlist или --reject rejlist
Задаёт разделяемые запятыми шаблоны имён файлов, которые следует загружать (acclist) или игнорировать (rejlist)
-H или --span-hosts
Разрешает wget скачивать данные с любого адреса, на который есть ссылка в запрашиваемом документе
Для простой загрузки файла наберем в терминале
wget http://mirror.suse.ru/distribution/1
Эта же команда с параметром "-c" или "-continue" продолжит оборванную загрузку.
wget -c http://mirror.suse.ru/distribution/1
По умолчанию файл будет сохранен в домашней директории пользователя, но если wget запустили из другой директории, то в ней и сохранится файл.
Для загрузки из файла, содержащего ссылки либо html-страницы нужно использовать параметр "-i"
wget -i mirrorlist
Для создания локальной копии сайта используется параметр "-m"
wget -m http://www.open-suse.ru
Кроме этого ключ "-r" означает рекурсивную загрузку, "-к" конвертирует ссылки в автономные для удобства просмотра, а "-np" не выпустит Wget выше начального адреса.
Другие полезные ключи:
Включение и исключение файлов при загрузке
-A acclist | -accept acclist
-R rejlist | -reject rejlist
Задаёт разделяемые запятыми шаблоны имён файлов, которые следует загружать (acclist) или игнорировать (rejlist).
-k | -convert-links
Превращает абсолютные ссылки (типа http://www...) в относительные (типа file///home/vasya/www/index.html) для удобства локального просмотра. Чтобы локально в броузере просмотреть скачанный сайт, открываете файл index.html в броузере и бродите по ссылкам точно так же, как если бы вы были подключены к Интернету.
-p --page-requisites
Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук и каскадные стили. После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.
Ограничение канала загрузки –limit-rate=значение в кб. Например:
wget --limit-rate=50k http://www....
Это приведет к тому, что скорость загрузки не будет превышать указанных в примере пятидесяти килобайт/сек.
http://www.opennet.ru/man.shtml?topic=w
Wget - повелитель закачек, или Как использовать wget
Сент.
21
Решение: откройте для себя wget - это программа скачивания сайтов, которая позволит вам скачать сайт целико
http://mydebianblog.blogspot.com/2007/09/wget.html
