Я так понимаю, что основная проблема у автора в том, что:
- Разные потребители запрашивают разную информацию.
- Заранее знать что запросит конкретный потребитель и за какой период не получается.
- Ну, конечно, проблема в количестве записей.
Любое логирование, когда непонятно сколько времени хранить, непонятно когда можно удалять данные лога, приведет к взрывному росту таких логов. То есть, методы "выталкивания" вряд ли подходят.
Может быть все-таки есть возможность как-то систематизировать то, кто что получает или это, действительно, непредсказуемо?
Кстати, да, у mazzy прозвучала неплохая мысль про удаление. А как его реплицировать?