Насколько мне известно системной возможности установить модификации в Terraria, предоставленной разработчиком, нет. Но тут помогает разработка любителей, tModLoader, который предназначен для установки модификаций поверх игры. Скачать его можно с просторов интернета, не знаю как насчет воркшопа. После того, как скачали - распакуйте файлы в папку с игрой, по надобности согласившись с заменой. В папочке ModLoader будет файл Patch.bat, который нужно будет запустить, после чего скопировать файл Terraria.exe с заменой. Моды устанавливаются в папку Terraria, которая находится в папке "мои документы".