Lengi vel skagaði Húsið upp yfir öll önnur íbúðarhús á Eyrarbakka en meginþorri íbúa Eyrarbakka bjó í lágreistum torfbæjum. Húsið var því langt fram á 19. öld ólíkt öllum öðrum íbúðarhúsum á Eyrarbakka, byggt úr timbri, á tveimur hæðum ásamt hanabjálkalofti. Þar var ekki í kot vísað. Ákveðin lotning og virðing fylgdi því líka að nefna bygginguna þessu einfalda nafni „Húsið“.

 

 

Húsið er stytting úr heitinu Kaupmannshúsið. Það var heimili kaupmanna og starfsmanna Eyrarbakkaverslunar frá byggingarári 1765 til 1927. Í manntali frá 1801 er talað um Kaufmannshuus í Manntalinu 1816 nefnist byggingin Kaupmannshús og í öllum húsvitjunarbókum frá 1840 fram á 20. öld. Húsið var miðstöð menningar austan Hellisheiðar og eitt mesta höfðingjasetur landsins um 70 ára skeið eða frá þeim tíma þegar Guðmundur Thorgrímsen og kona hans, Sylvía Thorgrímsen, fluttust þangað árið 1847 og þar til tengdasonur þeirra hjóna, Peter Nielsen verslunarstjóri, og kona hans Eugenia hættu búsforráðum í Húsinu 1916. 

 

 

Menningaráhrif frá Húsinu og íbúum þess voru margvísleg. Guðmundur Thorgrímsen stóð ásamt fleirum að stofnun Barnaskólans Eyrarbakka árið 1852 en hann er elsti starfandi barnaskóli landsins. Guðmundur þótti sanngjarn og vinsæll verslunarstjóri og kom mörgum framfaramálum til leiðar.

 

Fjölskylda hans stuðlaði að útbreiðslu tónmenningar um héraðið en í Húsinu var spilað á orgel, gítar og píanó sem nú er eign Byggðasafns Árnesinga. Bjarni Pálsson, faðir Friðriks Bjarnasonar tónskálds, lærði hjá Sylvíu Thorgrímsen og Sylvíu dóttur hennar og kenndi Bjarni mörgum á orgel síðar.

 

Í Húsinu heyrði Páll Ísólfsson Eugeniu Nielsen og Guðmundu dóttur hennar leika á píanó og varð bæði „undrandi og glaður yfir þessum tónum".

​