Игры с настройкой GC, если на уровне Java. Разделение на java module. Использование где можно балансировщиков которые работают с потоками быстро и отдают данные клиентами, поэтому потоки не живут долго и не занимают память (reverse proxy). При работе с файлами использовать nio и selector (неблокирующие). Использовать реактивное программирование - избавление от блокировок (но база данных при этом должна тоже поддерживать это). Можно попытаться использовать 32 бит версии Java и/или не использовать объекты размером больше 32 бит, будет обмен занимаемой памяти на быстродействие CPU (но в Java есть compacting так что возможно влияние 64 бит переменных не сильное). И главное - использовать все возможные инструменты для просмотра статистики при всех этих экспериментах.