In de 17e eeuw groeiden de weverijen sterk. Men weefde toen in opdracht van Naarden en Amsterdam lakense (wollen) stoffen en een eeuw later, rond 1750, namen zogenaamde fabrikeurs zelf het gehele productieproces in eigen hand. In 1772 waren er circa 42 fabrikeurs in Hilversum. Hun producten bestonden vooral uit gestreepte kleurige stoffen, die “Hilversums Gestreept” genoemd werden. In 1752 werd het fabriceren van Koehaartapijt aangevat, waaruit de Hilversumse tapijtindustrie ontstond. Deze bleef zich tot in de 20e eeuw uitbreiden. Het boerendorp groeide gestaag, maar werd in 1725 en 1766 geteisterd door branden die het dorp grotendeels vernietigden. Op 22 oktober 1798 besloot de gemeenteraad alle huizen te vernummeren, van 1 t/m 841. Eind 1898 besloot de gemeenteraad de kermis voor een paar jaar af te schaffen omdat het naar eigen zeggen "geldverspilling" was en er "veel drankmisbruik" was tijdens de vrije week, alsook "oneerbaarheid in de stegen van de dorpskom". In 1899, op de datum dat de kermisweek normaal zou starten, leidde dit tot een week vol geweld, waarbij ook een dode viel. Sinds 1903 of 1904 vindt de kermis weer plaats. Terwijl rijke Amsterdammers zich al in de 17e eeuw in 's-Graveland vestigden, gebeurde dat in Hilversum pas na de aansluiting op het spoorwegnet in 1874. In 1882 werd de aanleg van de Gooische Stoomtram naar Laren, Naarden, Muiden en Amsterdam voltooid, die vanwege een aantal dodelijke ongevallen de naam de Gooise Moordenaar kreeg. De verbinding met Amsterdam werd opgeheven in 1939. De laatste tram in het Gooi reed in 1947. De aanleg van bovengenoemde spoorweg bewerkstelligde dat vermogende families, zoals de familie Brenninkmeijer (eigenaren van C&A) en de aan hen verwante familie Gockel zich in Hilversum gingen vestigen, evenals de bekende Hilversumse familie Wortelboer. Mede door deze families kreeg Hilversum langzamerhand een overwegend katholieke signatuur. Dat leidde tot de bouw van de grote neogotische Sint-Vituskerk voor 1.800 mensen, ontworpen door P.J.H. Cuypers, in 1892. Eind jaren zestig zou Hilversum acht parochiekerken tellen, waarvan er alweer twee gesloopt zijn, een in onbruik is en een verbouwd is tot appartementen. Na de komst van de spoorweg groeide Hilversum heel snel, aanvankelijk door de groei van de textielsector (weverijen en aanverwante bedrijven) en de vestiging van tapijtfabrieken (waarvan uiteindelijk de Veneta overbleef). In 1918 startte de Nederlandsche Seintoestellen Fabriek (NSF) en daarna begonnen ook de experimentele radio-uitzendingen. Daarop volgde de vestiging van omroepen van alle gezindten. De televisie kwam aanvankelijk in Bussum terecht, maar de bouw van het Mediapark in Hilversum-Noord verzamelde alle omroepfuncties weer in Hilversum. Sinds het verdwijnen van de grotere industrie is de mediasector de grootste werkgever van Hilversum.