Emmylou Harris nació en Birmingham, Alabama. Su padre, un oficial de los marines, fue dado como desaparecido en la guerra de Corea. Harris pasó su infancia en Carolina del Norte y Woodbridge, Virginia, donde se graduó en el Instituto Gar-Field. Allí terminó los estudios con una mención de honor debido sus excelentes resultados, esto le reportó una beca escolar que le permitió ingresar en la Universidad de Greensboro en Carolina del Norte. Fue allí donde comenzó a estudiar música de forma profesional, tocando en su tiempo libre canciones de Bob Dylan y Joan Baez. Finalmente decidió abandonar la universidad para dedicarse a conseguir una carrera musical. Eligiendo la ciudad de Nueva York como destino, Harris comenzó a tocar canciones folk en los bares y cafés de Greenwich Village (una zona de Nueva York conocida por su cultura artística y bohemia) alternando los conciertos con su trabajo de camarera, que le permitía sobrevivir y pagar las facturas.

En el año 1969 se casó con su compañero Tom Scolum, también compositor y escritor de canciones. Al año siguiente grabó su primer álbum Gliding Bird. El álbum, compuesto por cuatro canciones originales de Harris y por temas de Bob Dylan, Hank Williams, y Fred Neil, tomaba este título en honor a la canción escrita por su marido, Scolum. Años más tarde renegaría de este álbum como su primer trabajo, tomando Pieces of Sky (1975) como su primer disco»oficial».

En 1976 colabora en coros y guitarra con The Band en el último álbum (The Last Waltz) de la banda norteamericana en la canción «Evangeline». Anteriormente (1975) también colaboró con Bob Dylan en la grabación del álbum «Desire», haciendo coros.

Poco tiempo después Harris y Scolum se divorciaron. Harris se trasladó a vivir con su hija a los suburbios de Maryland.

Poco tiempo después Harris volvió al mundo de la música como parte de un trío formado por Gerry Mule y Tom Guidera. Una noche en 1971, los miembros del grupo country rock The Flying Burrito Brothers se encontraban como público escuchando la actuación de Harris y sus amigos. Chris Hillman, antiguo miembro de «The Byrds» quedó tan impresionado por el talento y calidad vocal de Harris que la invitó a formar parte de su banda. Al final, Hillman optó por recomendársela a Gram Parsons, quien por entonces estaba buscando una mujer vocalista que colaborara con él en su primer álbum en solitario GP. Harris realizó una gira como miembro de la banda de Parsons, «The Fallen Angels» (Los ángeles caídos), en 1973. El tour fue un éxito y ambos artistas congeniaron positivamente. A finales de ese mismo año, Parsons y Harris decidieron embarcarse en un nuevo proyecto, la grabación de un álbum de estudio llamado Grievous Angel. El disco se vio interrumpido por la trágica muerte de Parsons el 19 de septiembre de 1973, debido a una sobredosis accidental de drogas y alcohol. El disco fue puesto a la venta al año siguiente. Algunos de los temas grabados con Harris no fueron publicados hasta años después, como es el caso del álbum Sleepless Nights publicado en 1976 o del álbum Live 1973, publicado en 1982.

La situación emocional de Harris tras el fallecimiento de Parsons era delicada. La colaboración de ambos artistas es una de las más importantes en la historia de la música country y country-rock. Parsons sumergió a Harris en el verdadero mundo de la música country, presentándola a artistas como The Louvin Brothers. Tras la muerte de Parsons, Harris compuso una de sus canciones más personales, «Boulder to Birmingham», que expresaba el dolor e injusticia que le provocaba el fallecimiento de Parsons. Era, como decía la amiga de Harris, Linda Ronstadt, el comienzo de un proceso de aceptación que le ayudaría a asimilar lo que había pasado. La pérdida de Gram Parsons también quedaría reflejada en otros temas de la artista.

Harris volvió a mudarse a Washington D.C., donde formó una banda eléctrica, The Angel Band, compuesta por Bruce Archer (en la guitarra), Tom Guidera (en el bajo), Danny Pendleton (en el pedal steel) y Mark Cuff (en la batería).

Linda Ronstadt, amiga de Harris, la invitó a la ciudad de Los Ángeles, California con el objetivo de mostrar a productores y discográficas el gran talento y calidez de su voz. Ronstadt la ayudó a participar y aparecer en las salas de conciertos más importantes de la ciudad, a menudo interpretando duetos con ella. De hecho, la ayuda ofrecida por su amiga ha sido reconocida por Harris en numerosas ocasiones, alegando que fue ella quien la empujó definitivamente a un contrato discográfico.