Как закачать интернет№40(159)/08.10.2001

Вадим ПОГОРЕЛОВ mntk@imail.ru
Хотите cэкономить время подключения к Интернету? Риторический
вопрос. Изучением того, как этого добиться, мы и займемся в этой
статье. И помогут нам в этом программы, которые можно назвать
оффлайн-браузерами. Что они делают? Да просто скачивают web-страницы
и сохраняют их на диске. А потом эти страницы можно смотреть,
отключившись от Интернета.
Собственно, похожую возможность нам предоставляет и кэш обычных
браузеров. Там, как известно, просмотренные страницы сохраняются.
Кроме того, в Internet Explorer 5.0 и выше вы можете сделать
страницы оффлайновыми. Посмотрим, какими же характеристиками должны
обладать настоящие оффлайн-браузеры. Итак:
• во-первых, иметь огромное количество настроек, позволяющих по
очень многим признакам отфильтровать скачиваемыее страницы;
• во-вторых, обычно они имеют шедулеры, позволяющие некоторым
образом автоматизировать процесс;
• в-третьих, чаще всего визуализируют структуру скачанных сайтов;
• в-четвертых, сам процесс скачивания является многопоточным, за
счет чего дополнительно экономится время.
Некоторые оффлайн-браузеры даже поддерживают докачку, что при наших
телефонных линиях является совсем не лишним, ведь существуют сайты,
объем которых может достигать десятков и даже сотен мегабайт (не
подумайте, что имеются в виду какие-нибудь музыкальные или
литературные архивы, речь идет о размере только html-страниц и
графиков).
Teleport Pro 1.29 for Windows 95/98/NT/2000
Программа shareware; производитель — Tennyson Maxwell Information
Systems Inc. Скачать ее можно на сайте производителя по адресу:
http://www.tenmax.com/teleport/pro/download.htm Объем в дистрибутиве
— 800 с небольшим килобайт. Это выбор редакции журнала PC Magazine
среди оффлайн-браузеров, о чем владеющие английским могут прочесть
на http://www.zdnet.com/pcmag/features/utility/offbrwsr/uobec.htm.
Чем же привлекателен Teleport Pro? Наверное, компании Tennyson
Maxwell удалось очень точно угадать, что хотелось видеть клиенту. Но
разработчики не почивают на лаврах, они совершенствуют свое детище,
о чем свидетельствует список усовершенствований и отловленных багов
в каждом новом релизе. Программа нетребовательна к ресурсам машины.
На Pentium-100 с 32 Мб памяти и Windows 95 вполне комфортно
одновременно работают 5 запущенных копий. (Это делалось просто для
эксперимента. На самом деле из-за многопоточного скачивания
запускать такое количество копий смысла не имеет, разве что
попадутся уж очень медленные сайты.)
Приведем общий список возможностей пакета. Во-первых, для Teleport
Pro справедливо все сказанное об оффлайн-браузерах вообще, к тому же
программа способна:
• полностью скачать web-сайт для оффлайн-просмотра;
• сделать полное зеркало web-сайта с точным повторением структуры
директорий и всех требуемых файлов;
• найти на сайте файлы определенного типа и размера;
• автоматически скачать определенные файлы из Интернета, даже если
они располагаются не на одной странице;
• найти все ресурсы, на которые ссылается данный сайт;
• просто скачать названия файлов данного сайта.
Но нет совершенства в природе — у программы существуют недостатки.
Самый главный следующий: если на сайте существуют обновляющиеся
страницы, их надо оформлять в проекте отдельно. Иначе Teleport Pro
будет тащить весь сайт заново — и то, что изменилось, и оставшееся
неизменным. Но это, пожалуй, единственный заметный недостаток,
который частично можно компенсировать настройкой.
Использовать Teleport Pro довольно просто. Для этого надо сделать
файл проекта. В этот файл заносится один или больше адресов
Интернета. Также можно задать программе правила, определяющие, каким
ссылкам при скачивании файла надо следовать. Наконец, сохраните файл
проекта и приступайте к выкачке.
Программа читает стартовые адреса проекта и скачивает
располагающиеся по ним файлы. Если она находит ссылки на скачанных
страницах, то следует по этим линкам и выкачивает страницы. И так
далее, пока не затащит к себе все что надо.
Вы можете задать, какие типы файлов надо скачивать, например, только
графические, скажем, jpg- и gif-файлы, и каким типам ссылок
следовать. Можете заставить программу следовать ссылкам только
внутри домена стартового адреса и даже задать глубину поиска файлов.
Вам предоставляется возможность влиять на «поведение» программы в
очень широком диапазоне, определять, как глубоко она будет
забираться, как долго «вытаскивать» проект и какие типы файлов
скачивать, причем список типов файлов открыт для дополнений.
Для облегчения настройки проектов в программе служит New Project
Wizard
Мастер New Poject Wizard
Первая ступень
Если мы запустим New Poject Wizard, прежде всего он предложит
определить, что же мы хотим получить в результате:
• копию web-сайта для последующего просмотра;
• точную копию ресурса с сохранением структуры директорий;
• отыскать на сайте файлы определенного типа;
• обнаружить все ресурсы, к которым ведут линки с данного сайта;
• скачать с определенных адресов один или более файлов;
• провести поиск на сайте по определенным ключевым словам.
Вторая ступень
На второй ступени New Poject Wizard предложит ввести стартовый адрес
и глубину вложенности ссылок относительно этого адреса. Глубина
вложенности — это очень важный параметр. По умолчанию он равен трем.
Если его не менять, скачивание какой-нибудь домашней странички
займет несколько минут. Сайт же с адресом типа http://www.XXX.YY
может даунлодиться и час, и более.
Поэтому если на крупном узле вас интересует только небольшая его
часть, рекомендуется сначала поставить глубину скачивания равной
единице, а потом, отыскав нужный линк, добавить в проект новый
стартовый адрес с этой ссылкой и скачать проект снова, указав для
основного адреса состояние disable. Если нужные страницы все-таки не
удалось найти, надо вновь, но уже в скачанных страницах второго
стартового адреса, отыскать ведущую к ним ссылку, сделать третий
стартовый адрес с этим линком, поставить второй в состояние disable
и так далее. В результате вместо часа будет потрачено минут 5-10.
Третья ступень
На третьей ступени Вы выбираете, во-первых, какие именно файлы можно
скачивать. Тут вам предоставляются четыре возможности:
• just text (только текстовые — html, txt);
• text and graphics — текст и рисунки;
• text, graphics and sound — то же, что в предыдущем пункте, плюс
звуковые файлы;
• everything — все файлы.
Для экономии времени рекомендуется выставлять just text, так как
рисунки часто составляют половину или более от выкачанного объема.
Если вы ради красоты смирились с долгой закачкой, ставьте Text and
graphics или следующий за ним вариант.
Во-вторых, на этой ступени Wizard если доступ на сайт запаролен,
можно ввести свои данные.
Четвертая ступень
И наконец, тут вас сердечно поздравят с тем, что работа над новым
проектом уже позади, а также напомнят, что после нажатия на кнопку
Finish , придется сохранять файл проекта.
На самом деле настройки программы не исчерпываются возможностями
Wizard. Если вы хотите дополнительно отрегулировать параметры
проекта (а тем, кто уверен, что справится с задачей, настоятельно
рекомендую заняться этим), добро пожаловать в свойства созданного
стартового адреса (Project — Starting address properties) .
Свойства стартового адреса
Здесь можно задать глубину и границы скачивания. Допустим, глубину
мы задали еще в New Poject Wizard, а вот границы отрегулировать
самое время сейчас. Их можно менять в довольно широких пределах — от
последней папки, указанной в адресе, до полного отказа от каких-либо
ограничений по адресам. Ниже задаются аккаунт и пароль для сайтов,
требующих этого.
Свойства проекта
Далее открываем окно Project properties (Project — Project
properties). Подробнее о существующих в нем закладках.
Закладка Summary («Общие свойства»)
Тут приведены общие сведения о данном проекте, есть возможность
очистить его базу (кнопка Clear project database ), а также,
поставив галочку и определив время в секундах, задать частоту
автосохранения в процессе работы (Autosave the project database
every... sec). Рекомендуется оставить значение по умолчанию.
Закладка File Retrival («Параметры скачиваемых файлов»)
Здесь можно назначить закачку файлов, не превышающих по размеру
определенное значение, далее файлов определенных типов, по размерам
не больше и не меньше определенной величины. Причем для данного
проекта можно добавлять сколько угодно собственных типов файлов,
увеличивать-уменьшать список расширений для имеющихся типов.
В нижней части окна можно выбрать, скачивать или нет встроенные
файлы (Retrive embedded files) — графики, звуки и пр.; фоновую
графику (Retrive Bakground files); ява-апплеты (Retrieve Java
Applets) или же тащить только названия файлов (Retrieve Names Only).

Для максимальной экономии времени полезно убрать все галочки внизу,
выбрать Retrieve only files of the types and sizes (in kilobytes)
listed below («Скачивать только файлы определенных ниже типов и
размеров») и проследить, чтобы был определен тип Text («Текстовые»).
По размеру скачиваемые файлы можно не ограничивать.
Закладка Browsing/Mirroring
Не все значения, стоящие в программе по умолчанию, оптимальные. На
этой закладке рекомендую выбрать Replicate the directory structure
of remote servers («Копировать структуру директорий удаленного
сервера») . Если этого не сделать, все файлы будут валиться в одну
папку (а для большого сайта их может оказаться и несколько сотен или
даже тысяч), причем их имена программа меняет. Если же опция
выбрана, все аккуратно раскладывается по отдельным папкам, имена
файлов сохраняются, и потом намного проще сообразить, где какие
файлы помещаются.
Далее в переключателе закладки Links for unretrieved files («Связи с
нескачанными файлами») по умолчанию стоит Link to a message that
explains why file was not retrieved. То есть в специальном файле
программа формирует объяснение, почему задание не выполнено. Но,
во-первых, это не всегда работает корректно, во-вторых, на это
требуется время, в-третьих, впоследствии не очень удобно «выдирать»
нескачанный адрес, чтобы сделать его следующим стартовым.
Посему рекомендую воспользоваться Link to the Internet address for
the file . Тогда ссылка на нескачанный файл останется неизменной, и
при необходимости вы будете знать, где его искать в Интернете.
Закладка Exclusions («Исключения»)
Позволяет объяснить программе, что же не надо «тащить» из Сети. В
самом верхнем реквизите можно указать нежелательные ключевые слова,
тогда содержащие их файлы будут игнорироваться (кодировки, видимо,
не учитываются!), в среднем реквизите — неприемлемые типы файлов
(хотя, зачем, если уже заданы желательные?), в нижнем — «неугодные»
адреса (а это позволит отрезать страницы всяких баннерообменные
сетей).
Закладка Netiquette
По умолчанию включена опция Obey the Robot Exclusion («Не обращать
внимания на закрытые для поисковых машин зоны») . Иногда из-за
этого, например, не скачиваются файлы стилей. Для небольших проектов
рекомендую эту опцию выбрать.
Далее в группе Agent Identity («Идентификация») лучше поставить
Impersonate Microsoft Internet Explorer, version (установленный у
вас номер версии MSIE).
Ну, вот, самые важные опции проекта настроены. Вытираем пот со лба и
с ужасом думаем: «Неужели каждый раз все это придется повторять?»
Отнюдь. Надо создать проект, настроить его, как указано выше, и
сохранить под именем, например, Шаблон.tpp . Затем поставим этому
файлу атрибут «Только для чтения» — и все. И вот для создания
очередного нового проекта достаточно открыть этот шаблон, сохранить
его под другим именем, удалить его стартовый адрес, вписать новый,
настроить, если надо, только свойства стартового адреса, сохранить —
теперь можно работать.
Jet Triton 8.2
Программа shareware, стоит всего 120 руб, скачать ее можно на сайте
разработчика со страницы http://www.hantay.ru/dload.htm.
Относительно Jet Triton справедливой будет присказка: «Господа, у
меня есть несколько новостей: одна — плохая, все остальные — очень
хорошие».
Начнем с плохого, а все самое лучшее оставим на потом. Итак, вот
какие требования выдвигает данная программа к системе: Windows 9x;
NT; Me; Windows 2000; интернет-браузер: Microsoft Internet Explorer
версии 5.0 и выше; процессор: больше 366 MГц; 64 Mб ОЗУ для Win 98;
96 Mб для Windows Me; Windows NT; Windows 2000.
Из этих цифр очевидно, ресурсоемкость Jet Triton без преувеличения в
несколько десятков раз превышает претензии Teleport Pro. Хорошо если
компьютер соответствует выдвигаемым требованиям, и вы работаете
только с Jet Triton. А если пользователь одновременно откроет
несколько копий того же MSIE? А вдруг используется еще несколько
тяжелых приложений, которые открывать/закрывать долго. Тогда вам
либо придется запасаться чем-то не меньше Pentium III с 256 Мб
оперативной памяти, либо завидовать и обращаться к другим
программам. А жаль. Хотя, кто знает, может, производители
процессоров и материнских плат доплачивают разработчику этого
гиганта :-)?
По своим возможностям и гибкости настройки Jet Triton не только
приблизилась к Teleport Pro, но даже где-то и превзошла его.
Кое-кого, конечно, порадует русский интерфейс, ведь не надо будет
выступать в роли переводчика. Кстати, это блестяще подтвердилось на
практике. Мой коллега, который год не мог подступиться к Teleport
Pro, осовоил Jet Triton буквально за несколько минут. Посему
подробно описывать работу с программой смысла не имеет.
Как уже говорилось, возможности продукта близки к имеющимся в
Teleport Pro. Правда, есть несколько «НО». В отличие от Teleport
Pro, где можно ввести сколько угодно типов пользовательских файлов,
в Jet Triton этого не сделаешь. Существует несколько определенных
типов файлов (основные, текст, графика, архивы, прочие), список
расширения которых можно задавать, но не для всех. Загадочный тип
«Основные» включает в себя гипертекстовые документы, и у этого типа
список расширений не редактируется.
Мастера-помощника в программе нет, но хорошо написанный help
«развяжет» пользователю руки.
Полезна малозаметная опщия «Похожие адреса» . Допустим, вы хотите
скачать все нужное с сайта http://www.specialist.ru. С первой же
страницы ссылки ведут на http://test.specialist.ru. В такой ситуации
Teleport Pro начнет закачку с http://test.specialist.ru, если этот
адрес задан в качестве еще одного стартового или если включена опщия
«Anywhere whithin the path of external links» (качать со всех
внешних ссылок, где бы они не находились). В первом случае
потребуется дополнительное время на оценку результатов даунлодинга,
на поиск нужного адреса, введение нового стартового адреса в проект.
Если же включена указанная опция, то в проект может свалиться
столько лишнего, что оно по объему может в несколько раз превысить
количество полезного материала. А вот в Jet Triton все просто —
включаете вышеупомянутые «Похожие адреса», также начнут приниматься
файлы с тех серверов, в имени которых между первой и второй точкой
стоит то же, что и в имени стартового адреса.
В отличие от Teleport Pro, в Jet Triton не проблема выбрать
кодировки скачиваемых страниц.
В Jet Triton также удобна осуществляемая с помощью поисковых машин
функция поиска. При этом используется поисковая машина, выбранная по
умолчаню (к сожалению, только одна). В строку адреса вносится слово
или фраза, нажимается кнопка «Скачать» , программа «вытаскивает»
результаты поиска, которые потом можно будет просмотреть и выбрать
стоящее. Справедливости ради заметим, что реализованный здесь поиск
не имеет возможностей гибкой настройки по категориям, но довольно
привлекателен тем, что результаты сохраняются. И вновь Teleport Pro
ничем подобным похвастаться не может
Одно из самых больших отличий Jet Triton от Teleport Pro — наличие
мощного навигатора для скачанных страниц и называется он Collection
Explorer . Действительно, если на диске накопилось несколько
десятков, а то и сотен мегабайт, вытянутых с самых различных сайтов,
разобраться в этом будет трудно и долго. А Collection Explorer
позволяет не только с удобством перемещаться по скачанным сайтам, но
и быстро находить в них страницы с нужными словами или фразами, а
также делать закладки.
И, наконец, на десерт — специально для жителей бывшего СССР: Jet
Triton, в отличие от Teleport Pro, поддерживает докачку. То есть по
плохой линии и большие ресурсы лучше всего скачивать именно с
помощью Jet Triton.

Перейти на главную страничку раздела "Интернет"