> ну вроде гугл по первой ссылке отвечает на вопрос convert private key
> to der

Да, с этим разобрался - надо было ключ rsa задать.

А по этой части вопроса можете подсказать:

Вопрос2: правильно ли понимаю, что содержимое файла DER - это и есть то, что должно передаваться в процедуре handshake TLS в ServerHello (то есть из него не нужно выделять какие-то части для пересылки клиенту) ?