La prima citazione del luogo di culto risale al 1288 e si trova su una pergamena conservata nell'archivio della collegiata dell'Assunta, ad Arco. Sul documento si attesta l'acquisto di un terreno da parte del monaco Albertino che poi sarebbe andato alla chiesa e ai monaci.

 

Nel 1473, dopo alcuni lavori di ampliamento, papa Sisto IV con una sua bolla aggregò il luogo di culto come priorato alle dipendenze della collegiata dell'Assunta. Nel priorato erano compresi la chiesa di Sant'Apollinare ad Arco e la piccola chiesa in località Troiana, dedicata a San Lorenzo.

 

Durante la prima metà del XVI secolo l'edificio venne ampliato ancora e la sala allungata di una campata. Nella seconda metà del secolo il presbiterio e l'arco santo vennero arricchiti di decorazione ad affresco dal pittore arcense Marco Sandelli detto il Moretto e verso la conclusione del secolo probabilmente venne ampliato anche il romitorio legato alla chiesa. La data 1595 è incisa sul portale.

 

All'inizio del XVIII secolo, nel 1703, Luigi Giuseppe di Borbone-Vendôme durante la sua campagna in Italia passò con le sue truppe sul territorio e la chiesa (come molte altre della zona) venne profanata e saccheggiata assieme all'eremo.

 

Nella seconda metà del secolo successivo sulla facciata venne ricostruito il portale e durante gli anni settanta il complesso fu oggetto di importanti lavori sia di restauro sia di consolidamento statico. In tale occasione furono interessati anche gli affreschi nella sala. Verso la fine del XX secolo fu rifatta la copertura del tetto dell'edificio dell'eremo.

 

La chiesa dei Santi Giacomo e Silvestro con il suo romitorio si trova ad oriente rispetto alla frazione Bolognano vicino all'antica strada che sale verso il monte Stivo e che collega il Basso Sarca e la Vallagarina. Il prospetto principale è semplice, a capanna con due spioventi. Il portale di accesso è architravato con una piccola tettoria. Ai suoi lati due piccole finestre leggermente strombate e con inferriate mentre in alto, al centro, c'è un oculo che porta luce alla sala. Sulla destra della facciata, leggermente arretrato ma quasi in continuità, si trova l'edificio del romitorio. La torre campanaria è abbastanza tozza ma è ingentilità dalle aperture della cella campanaria a bifora.

 

La navata interna è unica e suddivisa in due campate.Il presbiterio rettangolare è leggermente rialzato e riccamento decorato da affreschi dipinti dall'artista arcense Marco Sandelli detto il Moretto nel 1576. Altre parti affrescate risalgono ad un periodo leggermente anteriore.

 

Sull'altare laterale dedicato ai santi Pietro e Paolo una scritta ricorda uno dei monaci eremiti che vissero nel romitorio. 

 

Sull'altare presente sul lato opposto si conserva la pala seicentesca molto deteriorata raffigurante la Madonna. L'abside è decorata con affreschi del Moretto raffiguranti la Passione di Cristo e vari santi.