Ограничение на скорость выдачи страниц одному пользователю

abc писал(а):Чуть не забыл. У Вас в списке я увидет ip facebook.
У меня на сайте будут ссылки, ведущие на страницы моего сайта в соцсетях.
В связи с этим возник вопрос: если я не включу соцсети в разрешенные списки, это как-нибудь повлияет на SEO моего сайта? (хотя я сам так не считаю,но могу ошибаться)

Дело в том, что Фейсбук проверяет страницы, на которые идут ссылки. Если этого робота закрыть, он начнёт выключать эти страницы. Кроме того, по-моему, он получает картинки со страниц на сайте. Поэтому я решил открыть ему доступы.

abc писал(а):Андрей, а почему у Вас подсеть/25 mail.ru 94.100.181.128/25

Это ошибка, спасибо, что обнаружили.
Чуть позже разберусь, как правильно.

abc писал(а):Хотя многие онлайн сервися показывают /8 94.0.0.0/8

Это неправильно. Майлу.ру принадлежит сетка меньше, чем то, что указано.

abc писал(а):Андрей, а почему у Вас подсеть/25 mail.ru 94.100.181.128/25
Хотя многие онлайн сервися показывают /8 94.0.0.0/8

Правильно 94.100.176.0/20

Вот, свежие
31.13.24.0/21
31.13.64.0/18
45.64.40.0/22
66.220.144.0/20
69.63.176.0/20
69.171.224.0/19
74.119.76.0/22
103.4.96.0/22
129.134.0.0/16
157.240.0.0/16
173.252.64.0/18
179.60.192.0/22
185.60.216.0/22
204.15.20.0/22
Тут команда есть ssh
https://developers.facebook.com/docs/sharing/webmasters/crawler

Добавлено спустя 23 минуты 33 секунды:
Строго говоря, правильного рецепта поиска сетей не нашел, как не прискорбно это звучит. Поссылке выше, фейсбук предлагает инфу с radb.net. Здравый смысл подсказывает искать на ripe.net. И там, и там - данные разнятся ...

Модуль у меня заработал без капчи и идентификации роботов.
С капчёй сервер выдаёт ошибку 500.
С идентификации роботов модуль не работает, очевидно, мои IP-адреса воспринимаются модулем, как адреса поисковика

WEBCAT писал(а):Модуль у меня заработал без капчи и идентификации роботов.
С капчёй сервер выдаёт ошибку 500.

Ошибка 500 часто связана с файлом .htaccess
Нужно пробовать выключать по одной строки из этого файла и смотреть, когда заработает.

WEBCAT писал(а):С идентификации роботов модуль не работает, очевидно, мои IP-адреса воспринимаются модулем, как адреса поисковика

Надо проверять, в чём ошибка. Ставить в каких-то местах остановку работы и показывать содержимое переменных. Только после такой отладки можно разобраться, в чём причина.
Я отлаживал программу на одном хостинге, с каким-нибудь другим хостингом могут быть проблемы. Только тестируя это, можно найти какие-то универсальные решения. У меня не было возможности тестировать на разных хостингах.