tl;dr L'humanité a fui les titans lors de leur apparitions, les plus fortunés ont survécu et on traversé un océan pour trouver les murs déjà construit. Lors du voyage beaucoup d'hommes perirent non pas à cause des titans, mais parce qu'ils se sont entretués.
Cette histoire a vaguement été abordé par Pixis dans l'épisode 11, quand il raconte qu'autrefois les hommes s'étaient déchirés. Reste à savoir si c'est canonique ou juste un délire d'Isayama.