Latva-Komsin asukkaista on tietoa 1700-luvun puolivälistä lähtien, jolloin Heikki Simonpoika Gumsi ilmestyy kirkonkirjoihin. Sukusiteitä talolla oli Tuokkolaan ja Kauppilaan. 1700- ja 1800-luvuilla taloihin syntyi paljon lapsia, mutta myös lapsikuolleisuus oli korkea. Siten ihmisten keski-ikä jäi alhaiseksi. 1800-luvulla elämää vaikeuttivat myös kovat katovuodet, jolloin kylmät ilmat tuhosivat viljelykset ja eläinten rehut sekä vahvistivat kulkutautien otetta.
Komsin taloon vävyksi tullut Jaakko Juusenpoika Kauppilalla oli tärkeä osuus nykyisten pihapiirin rakentamisessa. Myös vävyn nimi vaihtui usein talon nimen mukaiseksi, niinpä Jaakostakin tuli Gumsi. Tuulimyllyn Jaakko rakensi 1841. Silloin talo pihapiireineen oli vielä lähempänä jokivartta lähellä nykyistä Karijoentien siltaa. Talon isännyys vaihtui 30-43 vuoden välein.
Vuonna 1883 rakennettiin ahkerasti. Silloin nousivat tuparahi, luttirahi, liiveri, riihi ja karjalato. Seuraavana vuonna 1884 tuulimylly siirtyi nykyiseen paikkaansa. Lisää rakennuksia tehtiin 1900-luvun puolella aloittaen tallista 1907 ja navetta, lato ja liiveri vuosina 1920-26.
Latva-Komsin naapuriin nousi punainen tupa ja ulkorahi 1885-1888 Juho Juhonpoika Kankaan rakentamana. Lisäksi viereen nousi vielä valkoinen tupa vuonna 1898.
Latva-Komsin pihapiirin nykyiseksi pikkutuvaksi siirrettiin Äystön meijerin pihatupa vuonna 1907. Muutenkin hirsisiä taloja siirrettiin usein kylistä ja jopa pitäjistä toisiin.