Здравствуйте! Это происходит когда у вас падает популярность, чтобы этого не происходило, надо чаще на неё обращать внимание и по необходимости поднимать. Чаще всего популярность теряется когда не хватает продовольствия, в таком случае надо позаботиться о поступлении пищи на склад. Ещё частая ошибка заключается в большом подъёме налогов для населения, это им как правило не нравится и они сбегают с вашего замка.