Сын священника
Варлам родился 18 июня 1907 года в Вологде, в семье священника, служившего до этого миссионером на Аляске. В университет его не приняли как сына служителя культа; он два года работал дубильщиком на кожевенном заводе и поступил только в 1926-м, на советское право в МГУ.
В феврале 1929 года его арестовали при печатании ленинского «Письма к съезду» и дали три года Вишерских лагерей на Северном Урале.