Черт, гениальная идея. Почему мне вообще это только сейчас пришло в голову, не мучался бы столько лет.
На всякие нужные/важные/просто звонки, которых, по идее, не избежать и могу не отмазываться, не игнорировать, не пытаться объяснять про фобию и т.д., а просто спокойно сообщать "у меня проблемы с динамиком/микрофоном, поэтому разговаривать могу только смс". Идеально же.