Способы и инструменты для проверки ссылок и сайтов на вирусы

Признаки заражения сайта

Первыми сигналами, говорящими о том, что ваш веб-ресурс столкнулся с проблемами безопасности, являются:

• блокировка сайта со стороны поисковых систем;
• уведомления от хостинг-провайдера о наличии вредоносного кода;
• жалобы посетителей на нежелательную рекламу, автоматические перенаправления на сторонние сайты.

Первое действие, которое необходимо осуществить при появлении подобных сигналов, – это провести полную проверку интернет-ресурса. Проверка на вирусы состоит из двух этапов:

1. статическая проверка файлов и базы данных на сервере хостера;
2. динамическое тестирование страниц сайта на вирусный код, скрытые редиректы и другие проблемы, которые чаще всего невозможно обнаружить при первом варианте сканирования.

Предположим, вы провели полное сканирование сайта на сервере хостера, устранили или даже не обнаружили вредоносных кодов на проверяемых страницах и в подключаемых файлах. Несмотря на это, проблема осталась, поисковик не снимает блокировку, а посетители по-прежнему сталкиваются с нежелательным редиректом. Дело в том, что статический анализ на наличие вирусных скриптов и кодов не всегда эффективен. Например, вредоносный код может автоматически подгружаться с другого ресурса или выполнять несанкционированные действия при определенных условиях:

• по завершении загрузки страницы в нее добавляется javascript, который выполняет drive-by-download атаку;
• пользователь закрывает страницу, в этот момент подгружается код и открывается popunder с нежелательным контентом;
• посетитель сайта находится на странице несколько секунд, и только после этого его перенаправляют на платную подписку за смс.

Для выявления и устранения подобных проблем требуется использование более «продвинутых» антивирусных сканеров. Такие сервисы проводят не только статический анализ сайта, но эмулируют реальное поведение посетителей. Робот сканера совершает определенные действия на сайте, запоминает и анализирует изменения, накапливает данные для итогового отчета. Продвинутый веб-сканер проверяет код страницы и объекты на ней как до начала выполнения всех скриптов, так и спустя некоторое время. Например, код зараженного виджета может через несколько секунд или по движению мыши загрузить скрипт, который вставит на страницу javascript с редиректом на загрузку опасного .apk-файла. Естественно, никакой статический анализ или поиск по файлам не сможет выявить такую угрозу.

В такой ситуации на помощь приходят веб-сканеры, которые выполняют динамический и статический анализ страниц сайта на вредоносный код. Очевидно, что наличие функционала эмуляции поведенческой активности служит основным критерием при определении наиболее подходящего антивирусного веб-сканера. В данной статье сделаем краткий обзор таких ресурсов. Для наглядности экспресс-тестирования я использую один из сайтов, разработанных мною в CMS-конструкторе WIX.

Чем опасен взлом сайта?

Частично мы уже поговорили, чем опасен вирус. Теперь поговорим чуть чуть о взломе сайта. Ведь вирус попадает к нам на сайт именно через взлом.

• Заработок на Вашем сайте. Это самый популярный вариант. Варианты следующие:
  • Продажа ссылок с вашего сайта
  • Размещение рекламы (попандеры, подмена ваших тизеров на те же, но с другим кодом)
  • Мобильный редирект (раньше было очень модно, т.к. владелец редко заходит на сайт с телефона, то он может и не знать об вирусе годами) с целью заработка на мобильных пользователях
  • Продажа персональных данных пользователей
• Заражение всех юзеров самыми различными вирусами (блокировка экрана, всплывающие окна в браузере, шпионы для воровства паролей и т.п.)
• Быстрая продажа сайта по бросовой цене
• Банальный взлом, который просто делает сайт неработоспособным
• Понижение позиций сайта и вывод сайта в поиске с пометкой сайт опасен.

Как видите, ничего хорошего от взлома ждать не надо.

Сканер уязвимостей от SafetyDetectives — Бесплатное сканирование онлайн

Сканер уязвимостей

от SafetyDetectives является одним из лучших онлайн-инструментов обеспечения кибербезопасности. Это быстрый и безопасный способ выполнить поиск работающих на вашем компьютере ненадежных программ и проверить наличие для них обновлений безопасности.

Данный инструмент поддерживает использование базы данных общих уязвимостей и рисков (CVE, Common Vulnerabilities and Exposures), которая является крупнейшей в мире базой данных уязвимостей кибербезопасности. При обнаружении разработчиком или специалистом по кибербезопасности уязвимости в какой-либо программе, они в первую очередь устраняют данную уязвимость. После устранения потенциальной угрозы, они сообщают о ней в CVE, чтобы все пользователи узнали о наличии уязвимости в их программе и скачали обновление для поддержания безопасности.

Инструмент поиска уязвимостей от SafetyDetectives сверяет настройки браузера и операционной системы с базой данных CVE и выдает рекомендации по исправлениям на основании найденных уязвимостей.

Данный инструмент полностью размещен на сайте SafetyDetectives, поэтому вам не нужно ничего скачивать, а сама проверка занимает несколько секунд. Большинство хакеров используют для взлома устаревшие системы – Поиск известных уязвимостей проследит за тем, что вы максимально защищены, при этом вам не нужно ничего скачивать (хотя вам обязательно следует установить антивирус).

Резюме:

Сканер уязвимостей от SafetyDetectives – это быстрый и эффективный способ проверки программ на наличие известных багов и уязвимостей.

В нем вы найдете четкие инструкции по устранению уязвимостей, основанные на рекомендациях международной системы CVE. Это абсолютно бесплатный онлайн-инструмент – вам не нужно ничего скачивать.

Способы поиска битых ссылок

Вариантов поиска битых линков множество. Конечно, бороться с проблемой вручную не всегда возможно, но на выручку владельцам сайтов приходит онлайн проверка урлов, разноплановое программное обеспечение и различные инструменты популярных поисковых систем, как Google или Яндекс. На некоторых решениях следует остановиться подробнее.

1. Инструментарий Google и Яндекс. Ведущие поисковики могут легко проверять и предоставить отчеты по битым ссылкам и не только. Например можно проверить ссылки на индексацию и на на 404. Они полностью перепроверяют сайт с определенной периодичностью. Таким образом можно получить список всех страниц с которыми возникла проблема.
   Основной недостаток такого метода – отсутствие оперативности и актуальности данных. Сложно контролировать процесс в режиме реального времени, когда проверка осуществляется лишь изредка.
2. Программное обеспечение. На рынке софта представлен огромный выбор разных программ, основное предназначение которых – диагностика и проверка битых ссылок.
   Они могут быть платными или работать по принципу free online, а также отличаются интерфейсом и различными дополнительными возможностями, предоставляя графики, схемы, статический анализ и рекомендации.
   Основная проблема этого выбора заключается в том, что вся обработка производится непосредственно с компьютера владельца, расходует его трафик и может приводить к замедлению работы интернета.

Способы диагностики безопасности сайта

Проверить сайт на вирусы можно несколькими способами. Самый быстрый и простой, но довольно поверхностный вариант — проверка при помощи антивирусных онлайн-сканеров. С нее стоит начинать всегда, когда есть хоть малейшее подозрение на присутствие зловреда.

Если проверка сайта онлайн выявила угрозу, следом желательно провести полное пофайловое сканирование при помощи антивирусных программ.

Кроме того, некоторые веб-мастера практикуют ручной метод поиска вирусов — открытие и просмотр каждого подозрительного файла на наличие закладок. Поиск проводится по сигнатурам (фрагментам кода, который часто встречается во вредоносных объектах) и путем сравнения потенциально зараженных файлов с чистыми. Если есть знания и опыт, этот метод может быть наиболее надежным, ведь угрозы пропускают даже самые мощные и рейтинговые антивирусы.

Яндекс.Вебмастер отображает информацию о них на странице «Диагностика» — «Безопасность и нарушения».

Google Search Console — в разделе «Инструменты для вебмастеров» — «Состояние» — «Вредоносные программы».

В случае обнаружения зловредного ПО выполните рекомендации Яндекс и по его поиску и устранению. А следом проверьте сайт при помощи онлайн-сканеров.

Что и чем проверять, и как лечить

Есть несколько подходов по выявлению причины проблемы и также несколько советов по ее излечению. Как и в других сферах, нет 100% гарантии, что проверка одним способом поможет решить все косяки. Мы советуем для надежности использовать несколько методов.

Автоматическая проверка на вирусы средствами хостинга. Конечно, данные модули не являются панацеей, но в большинстве случаев определят заражение и укажут проблемные файлы.

Тестирование через программу Ai-bolit от revisium.com. Наиболее современная из всех существующих программ на данный момент. Она позволяет вычислить до 90% проблем. А там уже по факту обнаружения можно подбирать и метод исправления.
Если в коде сайта вы заметили какие-то посторонние подозрительные символы, куски кода и т. д., можно пользоваться специальными PHP-скриптами. Например, Far от Secu.ru. Они помогут найти файлы, которые содержат эту маску. После обнаружения надо провести чистку файлов от найденного мусора. Но для данного метода нужны определенные знания в области программирования и файловой структуры сайта.

Полезно также проверить загруженную копию сайта на своём компьютере при помощи антивируса, предназначенного для локального компьютера. Современные антивирусы имеют развитый эвристический модуль, который позволяет с легкостью выявить вредоносные коды, поражающие сайты. Наиболее популярный на данный момент – rescan.pro.

Также можно проверить сайт через вебмастер Яндекса, Mail, Bing, Google. Если на сайте будет обнаружена подозрительная активность, в панели вебмастера появится соответствующее сообщение и общие рекомендации по дальнейшим действиям.

Периодически проверяйте страницы вашего сайта в индексе поисковых систем и по сниппету смотрите на содержание (для большого сайта). Если сайт небольшой (до 50 страниц), можно посмотреть каждую из страниц в сохраненной копии. Также рекомендуем периодически проверять файл .htaccess на наличие постороннего кода, который отправляет пользователей и роботов на разные виды контента (клоакинг). По аналогичной схеме работает часть дорвеев, но только в этом случае пользователю показывается тот же контент, либо производится его 3хх редирект на нужную страницу злоумышленника. В этом случае проверьте правильный ответ сервера страницы, при необходимости устраните проблему, в результате которой отдается неверный ответ

Стоит добавить правила в robots.txt для закрытия от индексации ненужных вошедших в индекс страниц, если взлом произошел.

Важно проверять и состав пользователей, которые зарегистрированы на сайте. В первую очередь проверяем имеющих права к редактированию сайта

Если есть посторонние пользователи, их удаляем, отключаем права на редактирование и производим поиск уязвимости, выясняя, каким образом данный пользователь был добавлен.

Когда проверили сайт, нашли проблемы и устранили их, необходимо сменить пароли ко всем аккаунтам (панели управления хостингом и CMS, FTP, SSH, и т. д.).

Признаки заражения сайта вирусами

Здесь я перечислю некоторые признаки заражения:

1. Резкое падение трафика. Не обязательно, что посещаемость упала из-за того, что вирус вломился на Ваш сайт. Посещаемость может уменьшиться из-за ошибок, связанных с сайтом или сервером. Думаю об этом надо написать отдельную статью. Как я писал Выше, поисковики, обнаружив вирус на сайте, могут блокировать к нему доступ, чтобы не разнести заразу дальше. В этом случае, при переходе на зараженный сайт, появляются предупреждение об опасности

2. На сайте могут появляються всплывающие окна

3. Вместо нужной страницы, открывается другая, неизвестная страница

4. И другие аномалии с сайтом, могут вызывать вирусы.

Вирусы, можно разделить на два вида: JavaScrip, находящийся в браузере посетителя и frame вирусы, где содержится ссылка на вредоносный сайт.

В уроке 12 (архивация базы данных), я писал, что обязательно надо делать резервную копию базы данных, но этого не достаточно. Иногда надо делать и бэкап самого сайта. Оборудование, т. е. сервер, где храниться Ваш сайт, может отказать

Сайт, который приносит постоянный доход, может исчезнуть в один миг, поэтому важно, чтобы была копия сайта не только на хостинге, но и у Вас. Как скачать сайт на компьютер, читайте в уроке 71

Какой вред могут нанести вирусы на сайте?

Люди, которые распространяют вирусы, могут получить доступ к панели администратора, и хорошо похозяйничать на сайте. Вред, причиненный сайту, можно только предположить. Если у Вас уже сайт заражен вирусами, тогда можете почитать на Яндекс о вирусах.

Как проверить сайт на вирусы

Здесь я предложу некоторые онлайн сервисы, где можно проверить свой сайт на вирусы. Вначале стоит проверить сайт с помощью этой ссылки:

http://www.google.com/safebrowsing/diagnostic?site=dvpress.ru&hl=ru

1	http//www.google.com/safebrowsing/diagnostic?site=dvpress.ru&hl=ru

Вместо моего домена, впишите свой.

Norton Safe Web – хороший сервис для проверки сайта на вирусы. Чтобы им воспользоваться, надо зарегистрироваться и подтвердить, что Вы владелец сайта. Я напишу краткую инструкцию.

На сайте надо зарегистрироваться, чтобы можно было проверить свой сайт на вирусы.

Как проверить сайт на вирусы, как удалить вирус с сайта

В своем профиле, под своей фотографией, надо нажать Добавить сайт. Впишите домен и нажмите Отправить. В профиле, справа от сайта, в статусе будет написано «проверка владельца не выполнена». На сервисе требуется подтверждение прав на сайт. Нажмите Проверить сайт. Откроется вкладка, где будет предложено два варианта для подтверждения. Я воспользовался вторым.

После подтверждения, что Вы владелец сайта, надо выполнить проверку сайта. Перейдите в свой профиль, нажмите «Обсуждение сайта» и правее от домена щелкните Оценить мой сайт. Проверка сайта может длиться до двух недель. Когда проверка будет окончена, на почту придет письмо. Если на сайте будет обнаружен вирус – его можно, т. е. нужно удалить.

Antivirus Alarm. хороший сервис, где можно проверить сайт не только на вирусы, но и получить профессиональные советы по защите, профилактике и лечению сайта от вирусов.

Dr. Web – знаменитый антивирус онлайн

Сканер AI-Bolit – ищет вирусы, хакерские скрипты и многое другое

URL Void

Virus Total

TAG Hosting

И множество других сервисов есть в интернете, где можно проверить сайт на вирусы.

Как удалить вирус с сайта

Это, пожалуй, главный вопрос, который мучает многих. Для удаления вирусов, можно воспользоваться плагином Firebug для браузера Mozilla. Об этом плагине я писал в уроке 78 (Firebug как пользоваться). Откройте страницу, на которой есть вирус, а потом нажмите на жучка в верхнем правом углу браузера. Снизу появится окно, где нужно указать подозрительную ссылку.

Появится код, где будет указана и ссылка. Если подвести курсор на эту ссылку, то на странице место, где находится ссылка, выделится другим цветом. Теперь, зная, где находится ссылка, надо найти сам файл и удалить ссылку.

Еще можно попробовать вылечить сайт другим способом. Обнаружив, что сайт заражен вирусами, попробуйте восстановить резервную копию сайта, которая храниться на хостинге или у Вас. Здесь нужно знать, когда приблизительно сайт заразился.
__________________
К уроку 173. Как заработать на своем сайте

Dr.Web CureIt – главный помощник в борьбе с вирусами

Dr.Web CureIt! – разработчики позиционируют ее как бесплатную лечащую утилиту, способную полностью проверить и вылечить компьютер от самых популярных вирусов. Но это не совсем так. Несомненно, по обнаружению угроз Доктор Веб Курейт занимает лидирующие позиции, но вот в качестве лечения, он предлагает лишь удалить найденные угрозы или переместить их в карантин.

И только в некоторых случаях, он действительно выполняет лечение, например, при изменении hosts файла, когда выскакивает сообщение «suspicious url». Но и здесь нужно быть особо внимательным, поскольку если вы использовали на компьютере какое-либо нелицензионное ПО с ключом, то есть вероятность, что после лечения hosts файла, оно перестанет работать.

Как правильно использовать лечащую утилиту:

1. Для начала Web CureIt необходимо скачать. Загрузить программу можно с официального сайта разработчиков. Учтите, что утилита доступна для использования в течении трех дней начиная с момента загрузки, затем ее придется скачивать еще раз. Это сделано для того, чтобы постоянно поддерживать актуальность вирусных баз.
2. Запустите антивирусный сканер, поставьте галочку на пункте принятия условий участия, чтобы начать работу с программой и нажмите «Продолжить».
3. Откройте страницу опций, нажав на иконку гаечного ключа в верхней части окна и зайдите в «Настройки».
4. Переместитесь в раздел «Исключения», установите галочку напротив пункта «Архивы» и нажмите «ОК». Все остальные опции вы можете поменять по своему усмотрению, например, я оставляю все по умолчанию.
5. Нажмите по кнопке «Выбрать объекты для проверки».
6. Откроется окно с пунктами, где Доктор Веб Курейт по умолчанию предлагает проверить на вирусы основные разделы компьютера (8 пунктов), можно отметить только их и нажать на кнопку запуска. Я же рекомендую сразу провести полную проверку. Для этого нажмите по тексту «Щелкните для выбора файлов и папок» и отметьте все локальные диски, флешки и прочие устройства.
7. Запустите процесс сканирования.

По завершению удалите найденные угрозы и перезапустите ПК.

Проверка ссылочной структуры сайта

Проверка битых ссылок

Показывает список исходящих ссылок для URL и проверяет их отклик. Может проверять рекурсирвно, то есть переходить от одного документа к другому самостоятельно.
http://validator.w3.org/checklink

Freeware инструмент для проверки битых ссылок. Для работы нужно установить его на свой компьютер. Рекурсивно сканирует сайт, делает отчеты, может быть полезен для составления карты сайта.
http://home.snafu.de/tilman/xenulink.html

Проверка перелинковки и заголовков страниц

Проверяет и показывает внутренние ссылки, заголовки страниц, наличие дублированного контента на сайте. Бесплатно позволяет сканировать сайт 1 раз в 30 дней.http://www.siteliner.com/

Сканирует до 500 страниц сайта в бесплатной версии. Проверяет число внешних и внутренних ссылок. Выводит информацию о просканированных страницах: вложенность, коды ответа, названия, мета информацию и заголовки.http://www.screamingfrog.co.uk/seo-spider/

Проверка ссылочной структуры и веса внутренних страниц

Программа сканирует сайт, строит матрицу внутренних ссылок,
добавляет внешние (входящие) ссылки с заданных URL и, на основании этих данных, рассчитывает
внутренние веса страниц сайта. Программа может быть использована для нахождения внешних (исходящих) ссылок для списка URL страниц сайта.
http://www.design-sites.ru/utility/link-analyzer.php

Обзор бесплатных программ для проверки ссылок на веб-сайтах

Программа для проверки ссылок на веб-сайтах LinkChecker

имеет все необходимые функции, которые вы только можете захотеть от программы для проверок ссылок на сайте. Самое главное, что приложение выделяет url адрес исходной страницы, где была обнаружена ошибка, так что вы всегда сможете быстро и просто исправить битые ссылки. Сводный отчет о результатах достаточно легко использовать. Каждая проверенная ссылка будет сопровождаться дополнительной информацией, включая заголовок страницы, тип и код ошибки, ответ сервера и прочее. Кроме того, LinkChecher поддерживает настройку глубины рекурсии (максимальное количество переходов от первой ссылки к последней).

LinkChecker так же можно запускать из командной строки. Существует большой набор консольных параметров, который позволит вам легко использовать программу из пакетных файлов (например, добавить к пакетному файлу, который выполняет ряд проверок по расписанию). Возможности и гибкость настройки LinkChecker действительно приятно удивляют.

Основные характеристики:

• Рекурсивная и многопоточная проверка сайта
• На выходе программы можно получить отчет в виде обычного текстового файла, html, csv и xml, а так же карту сайта в различных форматах
• Поддерживаются ссылки HTTP/1.1, HTTPS, FTP, mailto:,  nntp:, Telnet и ссылки на локальные файлы
• Поддержка ограничения проверки ссылок на основе фильтров url с регулярными выражениями
• Поддерживает прокси
• Авторизация для HTTP, FTP и Telnet
• Может учитывать исключения из файла robots.txt
• Поддерживает куки

Программа проверки ссылок Xenu’s Link Sleuth отличный пример того, когда время не властно

. Это достаточно старый представитель данного класса программ. Однако, несмотря на то, что последний релиз программы состоялся в 2010, Xenu’s Link до сих пор остается одной из лучших программ в своем классе. Приложение потребует от вас некоторого времени на его изучение. Но, как только вы разберетесь, то весь процесс настройки и запуска проверки будет отнимать у вас минимум времени. Кроме того, Xenu предоставляет достаточно полные и детальные отчеты.

Примечание: картинка справа – это логотип с сайта разработчика.

Основные характеристики:

• Простой пользовательский интерфейс без излишеств (классика)
• Умеет перепроверять битые ссылки (полезно при временных сетевых ошибках)
• Простой и детальный отчет о сканировании
• Фильтры 
• Занимает меньше 1 МБ
• Поддержка SSL веб-сайтов (“https:// “)
• Частичное тестирование ftp, gopher и почтовых адресов
• Обнаруживает и помечает в отчет url, которые были перенаправлены
• Создает карту сайта

Link Evaluator расширение браузера Firefox для проверки ссылок

– это расширение для браузера Firefox, которое умеет проверять только открытые страницы. Но, несмотря на ограничение, программа будет весьма полезной для быстрой проверки.

Link Evaluator отслеживает как статусный код http, так и содержимое страницы, которое возвращается для каждого url. И пытается распознать отличия между результатами (как например, отсутствие корректного кода по стандарту и реально возвращаемый текст). Учитываются следующие результаты:

• Битые ссылки (404)
• Превышение времени ожидания ответа сервера
• Ошибки аутентификации
• “Некорректный” контент для заданной страницы 

Каждая проверенная ссылка подсвечивается цветом относительно результата проверки: зеленый – успешно, оттенки желтого – частично успешно, красный – не успешно.

В целом, Link Evaluator подойдет тем пользователям Firefox, которые занимаются анализом веб-страниц или же часто проводят время на своих сайтах.

Почему неэффективны онлайн антивирусы для сайта

Когда возникают реальные проблемы в работе сайта или появляются сообщения от Яндекс Вебмастер о заражении, многие начинают искать онлайн антивирусы для сайтов. Иногда они помогают, но в большинстве случаев делают это не до конца.

Проблема в том, что такие сервисы как antivirus-alarm.ru, virustotal.com, xseo.in, 2ip.ru и т.д. имеют доступ только ко внешней стороне вашего сайта. Это значит, что они обнаружат вредоносный код только, если он вылезет наружу и будет проявлять какие-то признаки.

А что делать, если инфицированные файлы никак себя не проявляют и пока неактивны или результат их деятельности не дает явных признаков заражения. Ну, например, они просто выводят посторонние ссылки на веб страницах – для онлайн сервиса это будут <a href>, а сам вирус спрятан глубоко в PHP коде и действует только на уровне сервера при обработке запросов.

Единственный эффективный способ выявить все проблемы – просканировать полностью все файлы, размещенные на хостинге, где лежит сайт. Сделать это можно имея доступ к хостингу, значит, антивирус должен работать непосредственно внутри файлов и папок вашего сайта.

Проверка юзабилити сайта для различных групп пользователей

Проверка доступности с мобильных устройств

Оценивает возможность просмотра страницы с мобильных устройств и выдает список замечаний и ошибок.
http://validator.w3.org/mobile/

Проверка удобства сайта для телефонов от Гугл.
https://www.google.com/webmasters/tools/mobile-friendly/

Показывает скорость загрузки сайта на мобильных устройствах.
https://testmysite.withgoogle.com/intl/ru-ru

Сайт эмулятор выхода с мобильного телефона. Показывает сайт глазами выбранной модели.
http://www.mobilephoneemulator.com/

Проверка доступности для людей с ограниченными возможностями

Сервис проверки страницы для слабовидящих. Доступен on-linе и в виде плагина для Firefox.

http://wave.webaim.org/

Просмотр содержания сайта глазами поискового робота

Показывает текст сайта, приближенный к тому, что видит поисковый индексатор.

http://www.seo-browser.com/

Дистрибутив текстового браузер lynx для win32 систем. Перед использованием нужно отредактировать lynx.bat, указав в нем путь к директории с lynx.http://www.fdisk.com/doslynx/lynxport.htm

Убирает все разметку и показывает текст страницы, мета теги и теги заголовков, число внешних и внутренних ссылок. Показывает превью страницы в google.http://www.browseo.net