La commune de Châbles souhaite déjà au début du XVIIIème siècle la construction d'une chapelle, pour laquelle un fonds est constitué au XIXème siècle. La population doit en effet se rendre à Font pour les cérémonies religieuses, commune séparée par une route pentue, et dont l'église s'avère trop exiguë pour accueillir autant de monde (Barras, 2017, 25-26).
Il faudra attendre 1939 pour que la construction soit entreprise sous la direction de l'architecte fribourgeois Albert Cuony, dans un style régionaliste à la modernité discrète, l'inscrivant dans le contexte artistique du Groupe de Saint-Luc, société artistique catholique à laquelle il adhère vers 1936 (Société de St-Luc, 1936). La chapelle, dédiée à Notre-Dame des Pauvres, est bénie par l'évêque Mgr Marius Besson en octobre de la même année. Le patronat aurait été inspiré par l'abbé Paul Dunand, curé de Font, qui organisait des pèlerinages à Banneux, en Belgique, où la Vierge serait apparue en 1933 et où Notre-Dame de Banneux est la Vierge des Pauvres (Barras, 2017, 27-30).

Un chemin de croix en peinture sous verre est réalisé dans la nef en 1945, une des dernières oeuvres de l'artiste vaudois Gaston Faravel, décédé à l'âge de 46 ans.
En 1950, l'artiste fribourgeois Yoki habille le choeur d'un vitrail sur le thème de Notre-Dame-des-Pauvres, l'une de ses premières réalisations verrières (Barras, 2017, 27). En 1999, l'artiste crée en collaboration avec Michel Eltschinger trois autres verrières sur le mur gauche du choeur (Lauper, 2012, p. 269).