Оказалось, в Win16 была функция ExitWindowsExec(), которая завершала систему, запускала указанную DOS программу и снова стартовала Windows.