Загрузка веб‑сайтов целиком

Помимо загрузки отдельных файлов, вы можете загружать содержимое серверов полностью. Это удобно, если, к примеру, на веб‑сайте размещен многостраничный документ (на множестве веб‑страниц) или же контент определенного сервера требуется для дальнейшей оффлайновой работы. Чтобы не загружать каждую веб‑страницу в отдельности, вы можете воспользоваться средствами так называемых оффлайн‑браузеров. Наиболее популярными из них являются WebCopier, Webzip, Teleport и Offline Explorer. Большинство программ подобного рода платные, и эти четыре не являются исключением. Я рассмотрю процесс загрузки содержимого веб‑сайта с помощью программы Offline Explorer, познакомиться с которой можно на странице http://www.metaproducts.com/mp/offline_explorer.htm.

Существуют три версии программы Offline Explorer: обычная, Pro и Enterprise, различающиеся функциональностью и ценой. Обычная версия стоимостью 50 долларов обладает всеми основными возможностями по загрузке содержимого веб‑сайтов, ограниченная в основном вариантами экспорта проектов и лимитом в 300 000 файлов на сессию. Версия Pro несколько дороже, но и функциональность ее выше, а лимит файлов на сессию определен в 3 000 000 объектов. Максимально "нафаршированная" версия Enterprise поддерживает загрузку до 100 000 000 файлов в каждой сессии и помимо расширенных возможностей отличается ценой, которая в десять раз выше обычной версии программы. Для домашних нужд вполне достаточно обычной версии программы, которую можно загрузить с веб‑страницы http://www.metaproducts.com/mp/mpProducts_Downloads_Current.asp.

ПРИМЕЧАНИЕ.

Если при загрузке дистрибутива программы Offline Explorer средствами браузера появляется ошибка, попробуйте скачать файл средствами менеджера закачек.

После установки и первого запуска программа Offline Explorer предложит выбрать вариант оформления интерфейса – в стиле Office 2007 или классический. Установите переключатель в нужное положение, руководствуясь собственными предпочтениями. После этого вы увидите главное окно программы с предложением создать новый проект (рис. 3.19).

Я для примера попробую загрузить содержимое веб‑сайта http://www.spliff‑guru.ucoz.com/, вы – любого другого ресурса в Интернете.

ПРИМЕЧАНИЕ.

Стоит отметить, что далеко не все веб‑сайты "позволяют скачивать себя".

1. В поле ввода Адрес (URL) Проекта (Project URL) укажите адрес вебсайта, который следует загрузить. В моем случае, это http://www.spliff‑guru.ucoz.com/.

В поле ввода Название Проекта (Project name) вы можете указать персональное название проекта. По умолчанию в этом поле отображается адрес загружаемого веб‑сайта.

2. Щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится.

На этом шаге следует выбрать уровень загрузки содержимого веб‑сайта. Чтобы загрузить только текущую страницу, следует установить значение уровня равным 0. Если нужно загрузить все страницы, которые доступны по ссылкам на текущей странице (включая и саму текущую страницу), значение уровня должно быть равным 1 и т. п. Можно установить максимальное значение уровня равным 1000 или же вовсе отменить ограничение глубины загрузки, сбросив флажок Уровень (Levels limit). В этом случае вы загрузите весь веб‑сайт полностью, а также и все остальные веб‑сайты, ссылками связанные друг с другом.

3. Установите значение уровня загрузки (я установил его равным 10) и щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится.

Теперь следует определиться, какие файлы нужно загружать – все или же некоторые типы запретить. По умолчанию ограничения не заданы, но вы можете применить их, установив переключатель в положение Пропустить загрузку следующих типов файлов (Skip loading the following file types) и сбросив флажки напротив названий типов файлов, которые не следует скачивать. Это могут быть графические, звуковые, видео‑ и архивные файлы.

4. Определите ограничения на загрузку типов файлов или же оставьте значение по умолчанию, а затем щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится.

На этом шаге следует определиться, откуда могут быть загружены файлы. Если установить переключатель в положение Загружать только с начального адреса (Load only within starting URL), то загрузка файлов будет производиться с адреса, указанного на первой странице мастера. При выборе варианта Загружать только с начального сервера (Load only from the starting server) файлы будут загружаться с данного домена и его поддоменов. К примеру, если выбрать в качестве адреса http://www.ucoz.com, то будут загружаться и все веб‑страницы типа http://www.spliff‑guru.ucoz.com, http://www.vasya.ucoz.com и т. д. При установке переключателя в положение Загружать с любого места (Load from any location) файлы будут загружаться с любого сервера в Интернете, на который ссылается веб‑сайт http://www.spliff‑guru.ucoz.com/. В последнем случае (при отключенном лимите уровня загрузки) загрузка файлов не прекратится до тех пор, пока не будет загружено содержимое всех серверов, связанных между собой ссылками (рис. 3.20).

Также вы можете сбросить флажок Загружать изображения с любого места (Load images from any location), чтобы запретить загрузку графических файлов, расположенных на других серверах и представляющих собой, в большинстве (но не во всех) случаев, рекламные баннеры и т. п.

5. Щелкните мышью на кнопке Дальше (Next). Содержимое диалогового окна изменится, и вы увидите сообщение о том, что создание проекта успешно завершено.

Теперь можно приступить к непосредственной загрузке веб‑сайта. Но прежде чем приступать к скачиванию, расскажу о некоторых дополнительных настройках проекта.

6. Установите переключатель в положение Загрузить Проект позже (Download the Project later) и щелкните мышью на кнопке Дальше (Next). Вы увидите главное окно программы с только что созданным проектом в списке слева (рис. 3.21).

Интерфейс программы выполнен нестандартным образом – привычная строка меню отсутствует, а все команды представлены в виде элементов управления на вкладках в верхней части окна. На вкладке Главная (Home) вы можете создать новый проект как вручную (Новый проект (New Project)), так и с помощью описанного ранее Мастера (Мастер (Project Wizard)). Раскрывающийся список Проект из шаблона (Project from Template) в группе Мои Шаблоны (My Template) содержит команды, создающие проекты на основе самых популярных запросов. К примеру, шаблон Download only images from the site (Загрузить с сайта только изображения) автоматически указывает в свойствах проекта, что загружать следует только графические изображения. Вы можете и самостоятельно создавать шаблоны, определяя для каждого из них собственные настройки (Новый шаблон (New Template)). На этой же вкладке вы можете управлять процессом загрузки проекта и просматривать его с помощью различных программ, управлять свойствами проекта и выполнять другие операции. Вкладка Свойства (Properties) позволяет быстро отфильтровать загружаемые типы файлов и получить доступ к различным разделам диалогового окна Свойства проекта (Project Properties). Вкладка Загрузка (Download) содержит элементы управления процессом загрузки проекта, а вкладка Вид (View) управляет интерфейсом программы. На вкладке Интернет (Internet) определяются параметры соединения с Интернетом.

ПРИМЕЧАНИЕ.

В раскрывающемся списке Количество соединений (Numbers of connections) вы можете указать количество потоков (от 1 до 20), с помощью которых будут загружаться файлы. На некоторых веб‑сайтах, таких как narod.ru, не следует устанавливать значение выше 10, т. к. в противном случае, при подключении нескольких соединений с одного IP‑адреса сервер расценивает происходящее как DDoS‑атаку и блокирует IP‑адрес.

На вкладке Сервис (Tools) вам доступны различные возможности по обслуживанию созданных проектов. Раздел Просмотр/Редактирование (Browse/Edit) этой вкладки содержит три открывающихся списка, в каждом из которых после соответствующей настройки будут доступны программы для просмотра и редактирования файлов, а также браузер (браузеры). Также на этой вкладке содержатся средства управления шаблонами и публикацией проекта. Публикация позволит другим пользователям загружать тот же сайт с применением ваших настроек. Раздел Карты (Maps) предназначен для просмотра содержимого планируемого к загрузке веб‑сайта. В группе Импорт и Экспорт (Import & Export) вы можете управлять настройками проекта: экспортировать, импортировать и восстанавливать их, открывать для загрузки torrent‑файлы, а также сохранять загруженный проект в другой каталог на диске или же в другом формате: архиве zip, веб‑архиве mht, в виде кэша Internet Explorer, chm‑ или exe‑файл, а также на FTP‑сервер. Вкладка Сервис (Tools) предлагает средства и резервного копирования установок, и файлов проектов.

Вкладка Дополнительно (Advanced) для выполнения различных настроек в диалоговом окне Настройки (Adjustment). На вкладке Справка (Help) содержатся элементы управления для вывода различной справочной информации, проверки обновленных версий программы, ввода регистрационных данных и т. п.

Центральная часть окна программы разделена на две части. В правой части, на вкладке Проекты (Projects), расположены все созданные проекты, независимо от их состояния. На вкладке Карта (Map) выводится структура загруженного сайта, а на вкладке Уровни (Levels) отображаются файлы, ожидающие загрузки. Левая часть окна программы представляет собой встроенный браузер веб‑страниц, выполненный на основе программы Internet Explorer. В этом окне вы можете просматривать загружаемые файлы.

В нижней части программы отображается информация о статусе загрузки: активные файлы, их размер и процент закачки для каждого из них.

Теперь я вкратце познакомлю вас с наиболее значимыми настройками, как самой программы, так и проекта. Получить доступ к параметрам программы можно, щелкнув мышью на ярлыке главного меню в левом верхнем углу окна Offline Browser и выбрав пункт Настройки (Options). Откроется одноименное диалоговое окно (рис. 3.22).

В разделе Соединение (Connection) определяются параметры подключения к серверу, с которого происходит загрузка файлов. В некоторых случаях при возникновении проблем с загрузкой может потребоваться изменение значения параметра Количество соединений (Number of connection), если сервер блокирует чрезмерную активность вашего Offline Browser. В любом случае, не рекомендуется указывать значение выше установленного по умолчанию, т. е. 10. Вторая по значимости настройка в этом разделе служит для идентификации оффлайн‑браузера и определяется в группе Идентификация агента (Agent identification). Чаще всего достаточно выбора значения Internet Explorer в раскрывающемся списке Идентифицировать как (Identify as). Также вы можете выбрать любое иное значение или ввести его вручную в поле ввода, становящееся доступным после установки переключателя в положение Использовать идентификацию (Use this identification).

Раздел Скорость (Speed) предназначен для установки лимитов скорости загрузки для каждого из скоростных режимов. Определять данные значения нужно, исходя из скорости вашего подключения к Интернету и таким образом, например, чтобы при высоком режиме использовалась вся полоса пропускания, а при среднем – половина. Так, если интернет‑соединение не используется, то можно устанавливать высокий скоростной режим, а если вы помимо загрузки сайта планируете с каким‑то комфортом бороздить страницы, то – средний.

В разделе Дозвон (Dial up) определяются параметры автоматического подключения к Интернету, актуального в большинстве случаев при модемном (dial‑up) подключении.

Раздел Отключение и выход (Shutdown) содержит элементы управления процессом автоматического завершения работы программы. Удобно, если вы оставляете программу для загрузки содержимого сайта на ночь или пару дней. В этом случае можно установить флажок Отключить соединение, когда загрузка завершена (Disconnect modem connection when all downloads are complete), чтобы программа автоматически отключилась от Интернета. Также вы можете установить флажки Выйти из программы, когда загрузка завершена (Exit program when all downloads are complete) и Выключить компьютер после выхода из программы (Shutdown the system after program exit) – оффлайн‑браузер загрузит все активные проекты, завершит работу, а затем выключится и компьютер.

Группа разделов HTTP предназначена для формирования списка приложений, способных просматривать и редактировать файлы. В каждом из трех разделов приложение выбирается нажатием кнопки:

указывается его (любое) название и активируется щелчком мыши на кнопке Добавить (Add).

Перейдя в раздел Просмотр (Files), вы увидите элементы управления размещением загружаемых файлов (рис. 3.23).

В группе Каталог загрузки (Download directory) вы можете выбрать каталог, в который будут загружаться файлы, определить предел свободного пространства на диске, по достижении которого следует прекратить загрузку и изменить расположение временных файлов. В рамках обслуживания доступна возможность удаления временных и неиспользуемых файлов, для чего предназначена кнопка Очистить (Clean).

Разделы Редакторы (Integration), Дополнительно (Appearance), Подтверждения (Confirmations) и Размещение (Completion) главным образом направлены на настройку интерфейса офлайн‑браузера, например, изменение вариантов вывода предупреждений и внедрение программы в операционную систему и браузеры.

Раздел Размещение (Completion) интересен тем, что позволяет настроить вариант оповещения пользователя программой по окончании загрузки с помощью звукового сигнала или же сообщения по электронной почте или сервиса мгновенных сообщений ICQ.

Раздел Взаимодействие (New version) предназначен для автоматической и ручной проверки обновлений программы Offline Explorer.

Теперь, прежде чем начнется загрузка файлов с сервера, следует познакомиться с настройками каждого отдельно взятого проекта, причем некоторые из них весьма и весьма важны. Закройте диалоговое окно Настройки (Options) и щелкните правой кнопкой мыши на названии проекта в левой части окна программы, после чего выберите пункт Свойства (Properties) из контекстного меню. Откроется диалоговое окно Свойства проекта (Project Properties) (рис. 3.24).

Диалоговое окно Свойства Проекта (Project Properties) содержит все затронутые мастером при создании и многие дополнительные настройки проекта. Раздел проект (Project), как видно из рис. 3.24, позволяет изменить имя, адрес и глубину загрузки проекта. Кроме того, следует обратить внимание на группу Проверка изменений файлов (File modification check): ее элементы управления могут пригодиться, когда вы повторно загружаете уже локальный проект, с целью обновить существующие и добавить новые файлы.

Семь подразделов Типы файлов (File Types) практически идентичны друг с другом по содержанию (кроме раздела Другие (Other)) и позволяют сбросом флажков запретить загрузку как целой категории файлов (например, видео или изображений), так и лишь выбранных типов файлов по расширениям. Также вы можете определить минимальные и максимальные допустимые значения размеров файлов в каждой категории и их расположение, например, с любого сервера или только с текущего.

Подразделы Фильтры URL (URL Filters) служат для серьезной настройки параметров соединения и загрузки. В большинстве случаев вносить изменения в данные параметры не понадобится, а в обратном случае вы можете обратиться к русифицированной справочной системе программы.

В разделе Дополнительно (Advanced) вы увидите пять подразделов. Это подраздел Ограничения (Limits), в котором можно установить ограничения на максимальный размер закачиваемого файла, на максимальное количество загружаемых файлов и ограничение времени соединения. Подраздел Обработка (Parsing) позволяет проверять целостность файлов, игнорировать ошибки на сайтах, исследовать формы HTML и вычислять выражения в скриптах. В подразделе Трансляция ссылок (Link Translation) вы можете определить режим перевода ссылок, в подразделе Расписание (Scheduling) настраивается автоматическая загрузка ссылок по расписанию, а если вы загружаете сайт, защищенный паролем, в подразделе Пароли (Passwords) вы можете ввести требуемые пароли.

После того как все параметры настроены, закройте диалоговое окно Свойства Проекта (Project Properties). Теперь можно приступить к загрузке.

Запустить загрузку вы можете двумя способами:

□ отобразить вкладку Загрузка (Download), после чего выбрать желаемый режим загрузки;

□ с помощью контекстного меню.

Итак, отобразите вкладку Загрузка (Download), для чего щелкните мышью на ярлыке данной вкладки.

Эта вкладка разделена на пять подразделов, позволяющих выбрать режим загрузки. Так, первый подраздел Запуск (Start) позволяет выбрать режим загрузки. Если вы нажмете кнопку Запуск (Start), начнется загрузка выбранного проекта. Нажав кнопку Загрузить Все (Start All), вы загрузите все проекты, имена которых находятся на вкладке Проекты (Projects).

Подраздел Остановить (Stop) поможет остановить загрузку или всех загружаемых, или одного выбранного проекта. Следующая вкладка Перезапуск и Обновление (Restart & Update) позволит перезапустить закачку, обновить закачанный ранее проект или загрузить отсутствующие файлы. Обратите внимание, при обновлении проекта будут загружены только файлы, претерпевшие изменение.

Если вы желаете загрузить сначала карту сайта, вам следует нажать кнопку Карта сайта (Site map). А приостановить загрузку вы сможете в подразделе Приостановка (Suspend & Resume).

Всегда перед загрузкой сайта желательно сначала ознакомиться с картой этого ресурса.

1. В подразделе Карта сайта (Site map) нажмите одноименную кнопку. Начнется загрузка.

Ход загрузки будет показан в нижней части окна программы, на вкладке Соединение (Connection). А информацию о выполняемых операциях вы увидите в строке состояния в нижней части окна программы. Здесь вы увидите название выполняемого действия, количество уже загруженных файлов, скорость загрузки на данный момент и график скорости загрузки. По окончании загрузки вы в левой части строки состояния увидите сообщение Готово (Ready).

После того как все файлы загрузятся, вы сможете увидеть карту выбранного сайта. Для этого требуется открыть вкладку Карта (Map). Напомню, вкладки Проекты (Projects), Карта (Map) и Уровни (Level) находятся под полосой с элементами управления, в левой части окна программы.

2. Выделите на вкладке Проекты (Projects) интересующий вас проект и щелкните мышью на ярлыке вкладки Карта (Map), чтобы отобразить карту выбранного сайта (рис. 3.25).

Если же вы желаете просмотреть какую‑то страницу этого сайта, на вкладке Карта (Map) откройте папку, в которой сохранена ссылка на данную страницу, и дважды щелкните мышью на этой ссылке. В окне просмотра страниц правее вкладки Карта (Map) появится выбранная страница. Но может случиться так, что страница не закачана, т. к. вы загрузили только карту, и вы в окне просмотра страниц увидите ссылку на эту страницу. Однако страница просматривается только в онлайновом режиме. Чтобы все‑таки просмотреть эту страницу, щелкните мышью на этой ссылке.

Теперь следует приступить к загрузке выбранного сайта.

1. Откройте вкладку Проекты (Projects) и щелкните правой кнопкой мыши на имени проекта, который вы желаете загрузить. На экране появится контекстное меню.

2. Установите указатель мыши на строке контекстного меню Загрузка (Download). Правее появится подменю загрузок.

3. Щелкните мышью в появившемся подменю на строке Загрузить (Start). Начнется загрузка выбранного сайта на жесткий диск вашего компьютера в выбранную ранее вами папку.

Обратите внимание, если вы самостоятельно не определите папку загрузки, файлы по умолчанию будут загружаться в папку C\download\.

Процесс загрузки сайта ничем не отличается от процесса загрузки карты сайта. В нижней части окна Соединение (Connection) вы увидите список загружаемых в данное время страниц. В строке состояния внизу окна программы слева направо вы увидите выполняемое действие, при загрузке сайта это будет слово Загрузка (Download), далее – количество уже загруженных файлов, среднюю скорость загрузки и график скорости загрузки.

После того как сайт успешно загрузится, в левой части строки состояния появится надпись Готово (Ready).

Теперь, когда интересующий сайт закачан на жесткий диск компьютера, можно ознакомиться с содержимым этого ресурса. И для этого подключение к Интернету не обязательно. Более того, вы можете просматривать закачанные интернет‑ресурсы в удобное для вас время. Но, просмотр страниц закачанного сайта возможен только в программе Offline Explorer.

1. Откройте вкладку Проекты (Projects) и дважды щелкните мышью на названии интересующего вас сайта. Предполагается, что этот сайт вами уже закачан на жесткий диск вашего компьютера. В окне просмотра правее вкладки Проекты (Projects) вы увидите стартовую страницу выбранного ресурса (рис. 3.26).

2. Вы можете увеличить окно просмотра. Для этого следует установить указатель мыши на нижнюю горизонтальную границу окна просмотра, нажать левую кнопку мыши и переместить нижнюю границу вниз, пока не добьетесь желаемого размера окна. Также вы можете увеличить размер окна по горизонтали, переместив левую границу окна просмотра влево.

Изучим окно просмотра интернет‑страниц подробнее. Это окно функционирует так же, как обычный веб‑браузер. В верхней части окна находится строка заголовка, в котором отображается имя открытого сайта. Ниже вы увидите панель поиска в поисковой машине Google. В поле ввода Поиск в Google (Search by Google) вводится ключевое слово для поиска интересующего вас ресурса. Но следует заметить, эта поисковая строка действует только при установленном соединении с Интернетом. Под панелью поиска расположена панель инструментов окна просмотра страниц закачиваемого или закачанного сайта. Эта панель инструментов состоит из шести кнопок:

Развернуть на полный экран (Maximize Internal Browses to foil screen):

Назад (Back):

Вперед (Forward):

Остановить (Stop):

Обновить (Refresh):

Домашняя страница (Go Home):

Правее кнопки Домашняя страница (Go Home) располагается адресная строка, в которой отображается адрес просматриваемой в данное время страницы.

Если вы желаете развернуть просматриваемую страницу на все окно программы Offline Explorer, то можете не растягивать окно просмотра с помощью мыши, а просто нажать кнопку Развернуть на полный экран (Maximize Internal Browses to full screen):

Обратите внимание, когда вы просматриваемую страницу развернете, название кнопки Развернуть на полный экран (Maximize Internal Browses to full screen)

изменится на Восстановить исходный размер (Maximize Internal Browses to full screen).

Просматривать страницы закачанного сайта можно обычным способом. Чтобы открыть интересующую вас страницу, достаточно щелкнуть мышью на ссылке этой страницы.

1. Если вы так же, как и я, загрузили сайт www.spliff‑guru.ucoz.com, в группе ссылок Меню сайта щелкните мышью, например, на ссылке Хит‑парад. Будет открыта выбранная страница (рис. 3.27).

2. Теперь, чтобы вернуться на предыдущую страницу, достаточно щелкнуть мышью на кнопке Назад (Back):

После просмотра интересующих вас страниц нажмите кнопку Восстановить исходный размер (Maximize Internal Browses to full screen):

чтобы восстановить исходный размер окна просмотра, и завершите работу программы Offline Explorer.

Теперь вы можете закачивать на жесткий диск своего компьютера любой интересующий вас сайт и в дальнейшем просматривать этот ресурс в любое удобное для вас время. Но, закачав сайт на жесткий диск своего компьютера, не забывайте о мерах безопасности. Во‑первых, после закачки сайта завершите работу программы Offline Explorer и проверьте папку с закачанным сайтом антивирусной программой на наличие или отсутствие вирусов. А после того как сайт просмотрен и вам этот ресурс больше не нужен, удалите его с жесткого диска вашего компьютера.

Теперь следует рассказать, как с помощью программы Offline Explorer загружать "хитрые и жадные" сайты, которые с неохотой разрешают копировать себя. Для скачивания таких ресурсов следует немного изменить настройки программы. Для этого выполните следующие действия.

1. Отобразите диалоговое окно Настройки (Options). Напомню, чтобы получить доступ к параметрам программы, щелкните мышью на ярлыке главного меню в левом верхнем углу окна Offline Browser и выберите команду Настройки (Options) (см. рис. 3.22).

2. В группе элементов управления Идентификация агента (Agent identification) установите переключатель в положение Идентифицировать как (Identify as) и из открывающегося списка выберите название программы Internet Explorer. Этим мы замаскируем программу Offline Explorer под безобидный браузер.

3. В группе элементов управления Свойства Интернет‑соединения (Internet connection setting) из списка со счетчиком Количество соединений (Number of connections) выберите значение 1.

4. В поле ввода Задержка между загрузками (Delay between downloads) установите значение в несколько секунд, например 5.

5. Закройте диалоговое окно Настройки (Options), нажав кнопку OK.

После таких настроек сервер будет считать, что пользователь только просматривает эти интернет‑страницы в ручном режиме. Кстати, если задать случайную задержку между загрузками (ввести в поле ввода Задержка между загрузками (Delay between downloads) интервал, скажем 3–10), имитация ручного просмотра сайта станет еще более правдоподобной. После этого останется убрать паузы между загрузками, включить загрузку изображений (и, наоборот, отключить загрузку страниц), установить любое количество соединений и просто обновить проект.

Пара слов о загрузке сайтов с паролями. Сайты, использующие формы и cookies для идентификации пользователя, труднодоступны для загрузки оффлайновыми браузерами. В Offline Explorer для их получения нужно всего лишь один раз в дополнительных свойствах проекта ввести свое имя и пароль, которые вы получили при обычном посещении этого сайта, а в настройках соединения диалогового окна Настройки (Options) установить флажок Использовать MS IE cookies (Use Microsoft Internet Explorer cookies). Теперь защищенный паролем сайт можно закачивать обычным образом.

Date: 2015-12-13; view: 599; Нарушение авторских прав