Svůj první film (šestihodinový Spánek z roku 1963, ve kterém básník John Giorno jen spí) Andy Warhol natočil v době, kdy ho stále více fascinoval newyorský filmový underground. Warhol řekl Giornovi: „Chci natočit film. Nechceš se stát filmovou hvězdou?“ Giorna to moc potěšilo a zeptal se: „A co budu muset dělat?“ „Chci natočit film, jak spíš,“ odpověděl Warhol. Výsledek otřásl světem výtvarného umění i filmu.

Během následujících dvou let Warhol natočil několik průlomových „statických“ filmů, které i nadále veřejnost dost rozčilovaly, ale on sám byl stále více považován za předního undergroundového filmaře. Byly to filmy Polibek (1963), série tříminutových záběrů líbajících se dvojic; Jídlo (1964), třicetiminutový portrét malíře Roberta Indiany, který jí houbu; Kuřba (1964), záběr na krk a obličej muže, na kterém někdo provádí felaci; Kamerové zkoušky, několik desítek tříminutových záběrů na obličeje zírající do kamery; a zřejmě nejslavnější i nejskandálnější Empire, osmihodinové zachycení Empire State Building.

Ve svém následujícím filmařském období (od druhé poloviny 1964 do konce roku 1965) dokumentoval životy a dramata štamgastů Silver Factory. Transvestity a excentrické superhvězdy (byli jimi například Mario Montez, Ingrid Superstar, Candy Darling, Ultra Violet a Holly Woodlawn) Warhol nutil, aby prostě před jeho voyeurskou kamerou byli sami sebou. Největší superhvězdou, která z okruhů Factory vzešla, ovšem byla Edie Sedgwicková, dvaadvacetiletá dívka ze zámožné rodiny, čiperná a velmi krásná; při dobývání newyorského nočního života uprostřed šedesátých let se stala Warholovou nerozlučnou společnicí.

V roce 1964 si Warhol pořídil první zvukovou kameru a podle scénáře Ronalda Tavela – mladého dramatika, který v šedesátých letech s Warholem spolupracoval na řadě významných filmů – s ní natočil film Děvka. Pak následovalo několik polonarativních filmů, například Život Juanity Castro (1965), fraška z táborového prostředí a parafráze kubánské revoluce, a Vinyl (1965), Warholova adaptace románu Mechanický pomeranč. První velkou roli měla Edie Sedgwicková ve filmu Chudák bohatá holka (1965), což je její monolog o vlastním privilegovaném životě.

Avšak Warholovým největším filmařským úspěchem šedesátých let byly Holky z hotelu Chelsea (1966), tříapůlhodinový film se dvěma paralelními záběry a první undergroundové dílo, které se prosadilo v normální distribuci. Díky nebývalému recenzentskému ohlasu v celonárodních novinách i šeptandě se film v New Yorku několikrát promítal ve vyprodaných sálech a pak byl uveden po celých Státech. Tavel sice napsal dvě verze scénáře, ale Holky z hotelu Chelsea jsou nakonec hlavně improvizace. Superhvězdy ve filmu hrají samy sebe a často před kamerou až absurdně přehrávají; hranice mezi dokumentem a fikcí je velmi nejasná a mainstreamová Amerika mohla tímto filmem nahlédnout do životního stylu newyorského undergroundu poloviny šedesátých let.

Warhol pak točil filmy až do konce desetiletí, ale úspěch Holek z hotelu Chelsea už se mu zopakovat nepodařilo. I tak vznikla řada významných děl s novými herci, zejména Modrý film (1968) s Vivou a Louisem Waldonem a Osamělí kovbojové (1968), Warholova parodie na westerny.

Když pak v roce 1968 Valerie Solanasová málem připravila Warhola o život, filmů se ve Factory ujal Paul Morrissey, technicky velmi zdatný nezávislý režisér, který toužil po úspěchu v širší distribuci. Ten do poloviny sedmdesátých let zaznamenal značný mezinárodní úspěch s filmy Póvl (1970), Žár (1971) a Frankenstein Andyho Warhola a Drákula Andyho Warhola (oba 1973). Warholovu filmovou dráhu završil v roce 1976 film Špatný režiséra Jeda Johnsona; coby moderátor i účinkující v různých pořadech na kabelové televizi však Warhol nepřestal zkoumat možnosti filmové a televizní tvorby až do smrti.