Это старинное выражение. Когда кого-то начинали тяготить крепостные порядки, им рекомендовалось отвалиться от общины. Стать оторвой. Отщепенцем. Валить куда подальше. На окраину. К лихим людям.
Мудрый совет, если подумать.
помнится Австралия как раз была таким местом куда свозили лихих людей со всей Британской империи