Il museo fu fondato nel 1931 dalla scultrice Gertrude Vanderbilt Whitney, in seguito all'esperienza del Whitney Studio: il Whitney Studio, spazio espositivo e circolo sociale per giovani artisti progressisti creato nel 1908, il Whitney Studio Club, esposizione annuale, e le Whitney Studio Galleries, spazio espositivo per i giovani artisti. L'obiettivo era di ospitare non solo opere di artisti affermati, bensì anche di aiutarne e far emergere di nuovi.

 

Quando nel 1928 Edward Robinson, direttore del Metropolitan Museum of Art, rifiuta di ospitare le 500 copie della collezione Whitney, la donna e l'assistente Juliana Force organizzano la creazione del museo Whitney, inaugurato il 15 maggio 1931 con sede a West Eight Street, nel Greenwich Village.

 

Dal 27 settembre 1966 al 20 ottobre 2014 la sede del museo fu il palazzo Breuer, progettato da Marcel Breuer e situato all'incrocio tra Madison Avenue e la 75ª Strada. Il 1º maggio 2015 il Museo ha riaperto nella nuova sede progettata da Renzo Piano, situata nel Meatpacking District, al n°99 di Gansevoort Street, accanto al limite meridionale della High Line.

 

Quando fu fondato, il museo contava circa 600 opere, tra cui quelle di Stuart Davis, Charles Demuth e degli esponenti della Ashcan School; in seguito si aggiunsero anche quelle di Edward Hopper e Maurice Prendergast ; nel 1954 le opere ospitate salirono a 1300, nel 1966 arrivarono a 2000, mentre nel 1996 la collezione consisteva in 11000 opere, di 1700 artisti diversi. Tra le donazioni, 2000 opere nel 1970 da parte della vedova di Hopper e 850 da parte della vedova di Reginald Marsh.

 

Oltre alle donazioni, il museo è supportato dalla "Friends of the Whitney", costituita nel 1956. Nel 2002, il museo contava inoltre una biblioteca di 30.000 volumi. Nel 2002 i visitatori si sono attestati sui 400.000 all'anno. Il museo organizza ogni due anni la "Whitney Biennial", una celebre manifestazione d'arte contemporanea.