Обсуждение статьи тематического каталога: Apache Условная генерация robots.txt (apache mod_rewrite search web ssi)Ссылка на текст статьи: http://www.opennet.me/base/dev/robots_rewrite.txt.html
Если нет доступа к конфигу апача, то можно просто скриптом обрабатывать 404 ошибку и в зависимости от домена выводить нужный файл.