Luego de su expulsión de Ginebra, Calvino se refugió en Estrasburgo, donde probablemente pasó los tres años más felices y tranquilos de su vida. Fue pastor de los refugiados franceses, y conferenciante sobre teología. Se casó en 1540, con la que había de ser su fiel compañera hasta que ella murió en 1549. Allí tuvo tiempo para escribir, no sólo una edición ampliada de la Institución, y su Comentario a los Romanos, sino también su brillante Repuesta a Sadoleto, que fue considerada con razón como la más hábil defensa del protestantismo en general.
Mientras tanto, un cambio surgido en la situación política de Ginebra hizo subir al poder el partido favorable a Calvino, y sus dirigentes le rogaron que volviera. Ya para el 1541 Calvino estaba nuevamente en Ginebra, y hasta su muerte el 27 de mayo de 1564, él fue el personaje principal de la ciudad.
Calvino logró rápidamente que se adoptara su nueva constitución eclesiástica, las Ordenanzas, aunque con algunas enmiendas. Las Ordenanzas enfatizaban en que el gobierno de la iglesia estaba principalmente a cargo del Consistorio, que estaba compuesto por los pastores y doce laicos conocidos como ancianos. Los laicos eran la mayoría del Consistorio, ya que los pastores eran tan sólo cinco. No obstante, Calvino ejercía gran influencia y el Consistorio casi siempre hacía lo que él deseaba.
Además de esto, Calvino preparó un nuevo catecismo, e introdujo una liturgia, basada en la de su congregación francesa de Estrasburgo. Hizo obligatoria la disciplina de la moral de la comunidad. También se lograron grandes mejoras en la instrucción y en el comercio; pero toda la vida de Ginebra estaba bajo la constante y minuciosa supervisión del Consistorio, ya que Calvino quería hacer de la ciudad el modelo de una perfecta comunidad cristiana.
La fundación de la Universidad de Ginebra y de otras escuelas fue producto de esta época. Calvino alentó la instrucción porque creía en la necesidad de ministros preparados que pudieran exponer la fe verdadera. Creía que la educación religiosa era de especial importancia.
Sin embargo, a pesar de todos sus logros en Ginebra, Calvino no estuvo libre de los ataques de quienes se oponían a su obra reformadora. Algunos estaban inquietos por el rigor de la disciplina que Calvino defendía, y otros diferían de él en asuntos de doctrina.