403 ошибка при частом обращении к сайту

Вопросы связанные с работой Apache

Модераторы: Art.i, vasya

403 ошибка при частом обращении к сайту

Сообщение toshka4 » Ср апр 06, 2011 11:28 am

Добрый день! Подскажите что можно сделать, если при частом обращении к сайту, например, индексирующим ботом Яндекса, сайт не выдавал 403 ошибку.
В яндексвебмастер постоянно с каждого сайта по 10-30 страниц лежат HTTP-статус: Доступ к ресурсу запрещён (403), но страницы работают.
toshka4
 
Сообщений: 4
Зарегистрирован: Сб апр 02, 2011 8:40 pm

Сообщение ls » Ср апр 06, 2011 6:28 pm

Тут как вариант, увеличивать ресурсы сервера, включить также в Возможности Nginx
Так как видимо не хватает ресурсов сервера когда массово бот приходит и движок сайта выдает ошибку.
* FirstVDS в twitter в facebook и в вконтакте *
ls
Support team
 
Сообщений: 6405
Зарегистрирован: Чт мар 01, 2007 10:36 am
Откуда: FirstVDS

Сообщение toshka4 » Ср апр 06, 2011 6:51 pm

В данный момент у меня VDS-Разгон. Вчера включил nginx [engine x] — HTTP и прокси-сервер. А как можно проверить эту нагрузку?
toshka4
 
Сообщений: 4
Зарегистрирован: Сб апр 02, 2011 8:40 pm

Сообщение ls » Ср апр 06, 2011 7:21 pm

Посмотреть нагрузку можно в VDSmanager, также обратите там на меню Отказы в ресурсах внимание, если значительная нехватка памяти там это будет зафиксировано.
* FirstVDS в twitter в facebook и в вконтакте *
ls
Support team
 
Сообщений: 6405
Зарегистрирован: Чт мар 01, 2007 10:36 am
Откуда: FirstVDS

Сообщение toshka4 » Ср апр 06, 2011 7:38 pm

Посмотрел, до 18.01 было "Выделение памяти" 0, а вот с 18 по 20.01 733, 3300, 2039 в эти три дня было много выделено памяти. И больше больших скачков выделения памяти не было. Но бот яндекса проходит на много чаще. А на всех сайтах есть страницы в этих ошибках.
toshka4
 
Сообщений: 4
Зарегистрирован: Сб апр 02, 2011 8:40 pm

Сообщение vadim s. sabinich » Чт апр 07, 2011 2:51 am

Попробуйте немного усмирить поисковых ботов
http://help.yandex.ru/webmaster/?id=996567#1022359
vadim s. sabinich
Support team
 
Сообщений: 1167
Зарегистрирован: Ср фев 06, 2008 3:42 pm
Откуда: FirstVDS

Сообщение toshka4 » Вт май 03, 2011 1:13 pm

vadim s. sabinich писал(а):Попробуйте немного усмирить поисковых ботов
http://help.yandex.ru/webmaster/?id=996567#1022359

Благодарю, получилось. Все страницы на всех сайтах вернулись на свои места.
toshka4
 
Сообщений: 4
Зарегистрирован: Сб апр 02, 2011 8:40 pm


Вернуться в Apache

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5