Kvarteret har fått sitt namn efter en handelsträdgård som tidigare låg i området. Trädgårdsmästaren Olof Nilssons hustru hette Elsa Margreta Olsson.
