A banda naceu como un quinteto no ano 2002 con Steve Snere de Kill Sadie, Brian Cook de Botch, e Ryan Frederiksen de Nineironspitfire ademais de Joe Preston e Jesse Robertson.[2] Elixiron o nome de "These Arms Are Snakes" porque era as "ridículo e [non] soa realmente como calquera outro nome de banda". O grupo anunciou que fichara por Jade Tree Records en marzo de 2003,[3] e publicou o seu EP de estrea, This Is Meant to Hurt You, o 19 de agosto dese ano. Este foi o único lanzamento cun teclista a tempo completo, xa que Jesse Robertson deixou a banda en 2004 tras ter diferenzas de opinión sobre o estilo de xira do grupo. AllMusic valorou o EP con tres estrelas sobre cinco e cualificou as letras de "intelixentes [e] astutas".[4]
O grupo continuou como cuarteto a partir dese momento. Antes de gravar o seu primeiro álbum, Joe Preston tamén deixou a banda e foi substituído por Erin Tate, que tocaba en Kill Sadie con Steve Snere e en Minus the Bear.[2] Preston e outros membros de These Arms Are Snakes tiveron un accidente de furgoneta cun camión despois do seu concerto de despedida.[5]
Brian Cook tocaría ocasionalmente os teclados durante o resto da existencia do grupo. Segundo Ryan Frederiksen, a marcha de Robertson abriu máis espazo no escenario permitíndolles "correr libremente por todo o escenario", conseguindo uns concertos máis intensos. A perda de Robertson tamén permitiu a These Arms Are Snakes centrarse no seu son xeral e crear "arranxos despoxados e espazosos". Estes cambios impactaron no seu álbum de estrea, Oxeneers or the Lion Sleeps When Its Antelope Go Home (moitas veces simplificado como The Lion Sleeps ou Oxeneers), rpublicado por Jade Tree en setembro de 2004.
