Trabajó en el despacho de Peter Behrens, donde coincidió con los jóvenes arquitectos Walter Gropius y Adolf Meyer, que contaban con 25 y 27 años respectivamente. Aunque en aquel entonces la formación de Gropius era claramente superior a la de Mies, más adelante ambos desarrollarían una fuerte rivalidad. Bajo la influencia de Behrens, Mies desarrolló un estilo arquitectónico inspirado en técnicas estructurales avanzadas y en el clasicismo prusiano de Friedrich Schinkel. También realizó diseños innovadores con acero y vidrio.Mies dejó su puesto en el estudio de Behrens por un periodo de tiempo en torno a un año, entre finales de 1909 y 1910, razón por la cual no recordaba más que de pasada al joven arquitecto suizo Charles-Edouard Jeanneret, (más tarde conocido como Le Corbusier), quien también trabajó en el estudio de Behrens en aquella época. En aquellos años, Mies colaboró con la revista G e hizo contribuciones importantes a la filosofía de la arquitectura como director del proyecto Weissenhof, el cual tenía por objetivo investigar innovaciones en los prototipos de vivienda moderna, y, sobre todo, como director de la famosa Escuela de la Bauhaus. En 1929 Mies recibe el encargo de proyectar el Pabellón nacional de Alemania para la Exposición Internacional de Barcelona, el cual consistía básicamente en un salón protocolar y para el que hizo un diseño que lo convertiría no sólo en la atracción del evento, sino en una de las obras de arquitectura más innovadoras que se han hecho por la extrema simplicidad de sus elementos y composición.
Mies decidió abandonar Alemania a finales de los 1930 cuando vio como los Nazis iban siendo cada vez más poderosos. Se marchó a los Estados Unidos, país donde ya era conocido como arquitecto y diseñador influyente. En 1958 Mies construyó el edificio Seagram en Nueva York, que se consideró la máxima expresión de la arquitectura internacional. Se trata de un edifico de fachadas acristaladas, de líneas claras y sobrias, construido según la técnica del «muro cortina» desarrollada por Mies, que consiste en un fachada acristalada sin función estructural, la cual recae en pilares situados detrás de ésta.
A lo largo de su vida profesional Mies luchó por conseguir una arquitectura de carácter universal y simple, y que fuese honesta en el empleo de los materiales y en las estructuras. Fue así como hizo célebres las frases «Less is more» («Menos es más») y «God is in the details» («Dios está en los detalles»), las cuales se convirtieron en lemas de la arquitectura de vanguardia de la primera mitad del siglo XX, y al mismo tiempo en unos de los conceptos más debatidos en la teoría arquitectónica.
