Сирота у Алланов
Эдгар родился 19 января 1809 года в семье бродячих актёров. Отец исчез, мать умерла от чахотки, когда мальчику не было трёх. Его взял в дом богатый торговец Джон Аллан из Ричмонда — не усыновив, но дав фамилию, которая осталась в имени.
С приёмным отцом он ссорился всю жизнь: тот платил за университет мало, Эдгар играл в карты, залез в долги и был вынужден уйти после года учёбы. Потом армия, потом Вест-Пойнт, откуда он добился исключения нарочно, перестав ходить на построения.