в качестве отчета по проделанной работе (вдруг кому-то будет интересно)
в завершившемся июне был поставлен рекорд форума - всего с него выкачано более 110Гб. Из них более 90Гб выло выкачано ботами. (1)
За счет кэширование, перераспределения имеющихся ресурсов, изменения настроек удалось почти вдвое сократить объем данных, которые отдаются людям (2), одновременно удалось почти вдвое увеличить (3) число хитов (выполненные запросыот людей)
Другими словами, форум отвечает большему числу людей, отвечает чаще, скорость реакции выше и грузит каналы меньше.
за истекший июнь-месяц удалось обуздать безумных ботов-скачивальщиков.
однако все равно среди цивилизованных и приличных поисковых ботов отъявленным гопником выглядит mail.ru. Пока его не сильно режем, но при первых признаках нехватки ресурсов он будет первым кандидатом в баны.
отдельно хотелось бы сказать о всяких ботах-ломальщиках, ботах-спамерах и прочей нечисти, которая попала в пункт "остальное". в принципе их тоже ограничили, но частота обращения к странице регистрации показывает, что с нечистью еще можно будет побороться (примечание: я не хотел бы вдаваться в детали, но страница регистрации так устроена что она часто используется для взлома/хака форума)
хотелось бы показать немного истории (3 месяца):
1 - период до тормозов - спокойная и размеренная жизнь
2 - одновременно активизировалось несколько ботов. первым был, похоже, таки яндексовкий. хотя он быстро исправился. в этот период мы пытаемся изменить количественные параметры форума. в конце периода были внесены кардинальные структурные изменения в настройки
3 - оптимизация и фиксация новых настроек. отладка.
4 - работа с зафиксированными настройками
С 26.06 незамеченной прошла неделя новой активизации ботов.
И хорошо, что участники этого не заметили.
=========
Спасибо вам за терпение и понимание.