As orixes da banda hai que situalas na década de 1960. Naquela época Lou Reed estudaba na universidade de Syracuse, en Nova York, e compuña temas de pop, rock and roll e doo-woop. Reed tiña unha personalidade peculiar, que na adolescencia lle achacaran a desviacións e patoloxías nerviosas que intentaron curar con terapia de electrochoque. Á parte dos temas convencionais que vende a diversas discográficas, comeza tamén a crear outras cancións moito máis persoais con textos dunha gran forza lírica.
Na efervescente Nova York do 64, Lou Reed coñece a John Cale, un galés estudante de música contemporánea e admirador de músicos vangardistas coma John Cage ou La Monte Young. Cale amplificaba a súa viola para sacar dela imposibles notas eléctricas dun instrumento clásico. Tamén aparece Sterling Morrison, un excelente guitarrista rítmico veciño de Reed. Reed móstralles a Cale e a Morrison as súas cancións e estes quedan fascinados, así que deciden aplicar unha base de son ao gran potencial literario que posúen. Tras probar diversos baterías, chega á banda Maureen Tucker, unha muller que tocaba dun modo primitivo e desprendía unha imaxe ambigua.
O grupo comezou a tocar en varios locais de Nova York. As primeiras opinións do público foron desastrosas. A banda tocaba dunha forma completamente distorsionada e a maioría de veces fóra de ton, o cal resultaba desagradable para a audiencia. Fartos de ser expulsados de case tódolos locais, a Velvet comezou a tocar no Cafe Bizarre, coma unha das últimas tentativas de ter un mínimo de continuidade na escena. Este lugar constituíu un punto de inflexión para a banda: en medio doutra actuación viron entrar no local a Andy Warhol e todo o seu séquito, que andaba a buscar unha banda de rock para expandir os seus proxectos entre outros públicos diferentes. Ao final da actuación, Warhol propúxolle a Reed e Cale que se trasladasen a The Factory, berce dos protexidos de Warhol, ofrecéndolles novo equipo e a súa promoción. Neste novo contexto as letras e a música de Reed adquiriron un enfoque aínda máis explícito ca antes.
Xunto con Warhol crean o "Exploding Plastic Inevitable", unha combinación de cine, sadomasoquismo e rock co que percorren varias cidades e co que a crítica especializada comeza a falar da banda por riba incluso do espectáculo de Warhol. O propio Warhol axúdalles economicamente para producir o seu primeiro álbum, no que lles impón a presenza á voz de Nico, unha beleza loura que crea un forte contraste co resto da banda. Con Nico xorde a polémica, xa que Reed e Cale non ven con bos ollos o protagonismo que esta intenta asumir, pero ante a imposibilidade de non poderen facer o álbum sen a axuda de Warhol, non teñen máis remedio que aceptala.
The Velvet Underground & Nico sae ó mercado en 1967, realizado polo selo Verve. Naquel intre non vendeu máis dun puñado de copias, debido á mala distribución e promoción por parte da compañía e á súa baixa rendibilidade. A partir de aí a Velvet editou tres discos máis. Warhol deixounos sós para o segundo (White Light/White Heat), no que a cara bonita de Nico tamén desapareceu e os catro compoñentes orixinais do grupo recrearon un disco máis corrosivo que o anterior. No terceiro disco, titulado coma a banda, John Cale abandonou o barco e incorporouse Doug Youle. Este tamén interveu no cuarto e derradeiro LP de estudio do grupo, chamado Loaded, durante cuxa gravación tamén saltou do grupo o propio Lou Reed.