Конечное соединение неплохо бы переиспользовать, но даже когда сервер ставит connection: close и у тебя этих соединений штук 20 то можно смело утверждать что сеть не простаивает, и вероятно они прокачивают никак не меньше того что прокачивалось бы в одном соединении.
Хотя конечно могут быть сильно разные сайты и ситуация может менятся.

Те если sdpy и чего то ещё подключается к сайту одним сокетом, то 20 сокетов сделают тоже самое примерно за то же время, потому что будут делать это параллельно.

На практике может пайплан в 1.1 и выпилили, а connection: keep-alive всё ещё в ходу и подозреваю что соединения успешно переиспользуются браузерами ещё со времён ИЕ4.
По крайней мере когда я руками запросы шлю на хттп сервер то за один коннект могу сильно больше одного запроса отправить и на всё получить ответ.