L’ermita de Sant Gregori fou promoguda pel Gremi de Llauradors de Vinaròs, que acordà la seua construcció el 26 de desembre de 1779. El projecte fou encarregat a l’agustí vinarossenc fra Pere Gonell i la primera pedra es col·locà el 9 de maig de 1780, festivitat del sant. A la llinda de la portada figura la data de 1781, corresponent a la construcció de l’edifici.
El temple presenta planta de creu grega, d’uns 18 per 13 metres, amb cúpula central i dos sagristies laterals. Destaca especialment la façana de pedra treballada, articulada amb elements d’ordre corinti i decorada amb atributs relacionats amb sant Gregori. A l’interior es conserven pintures murals entre les quals apareixen representades llagostes, en referència a les plagues del camp contra les quals tradicionalment s’invocava la protecció del sant. Al costat de l’ermita es trobava també la casa de l’ermità.
La devoció a sant Gregori a Vinaròs era anterior a la construcció de l’ermita. Almenys des del segle XVII se celebraven missa cantada, vespres i una processó pel Caminàs, acompanyada de la benedicció del terme. Segons la tradició, un llaurador es desplaçava fins a Navarra per portar aigua que havia estat passada per les relíquies del sant. La festa mantingué la seua vitalitat fins al primer terç del segle XX.
La proximitat del Cervol feu que l’edifici patira les conseqüències de les seues avingudes. La riuada de 1909 inundà l’ermita i una rajola col·locada a la façana recorda el nivell assolit per les aigües; a l’interior quedaren també marques de la inundació. L’any 1917, durant una epidèmia de pigota, l’ermita fou utilitzada temporalment com a sanatori.
Durant la Guerra Civil, l’edifici fou destinat a polvorí o magatzem de material militar i patí desperfectes, entre ells els ocasionats a la imatge de sant Gregori. Acabada la guerra quedà convertit durant dècades en magatzem municipal. Als anys huitanta, entitats com el Club Sant Gregori i l’Associació Cultural La Colla recuperaren puntualment la celebració del sant amb una xicoteta processó.
L’any 1996 deixà de funcionar com a magatzem municipal i començà la recuperació de l’edifici i del seu entorn. A partir de 2001 es dugueren a terme treballs sobre les pintures, la coberta i altres elements de l’ermita. Posteriorment, l’immoble ha estat destinat també a diferents usos socials i municipals.
