Alleen de eerste gracht is nog geheel intact en met water gevuld. De tweede gracht is gedeeltelijk drooggelegd. Zij loopt in het noorden door in een vijver die tegenwoordig niet meer voorstelt dan een moerassig deel van de gracht. Het woongedeelte is vanuit het zuiden bereikbaar over een stenen gemetselde brug met twee gotische bogen, die gevolgd wordt door een smal bruggetje dat de vroegere ophaalbrug vervangt. Zijn zware pijlers. die levens als steunberen dienen, zijn van binnen in de boerderij nog zichtbaar. De oude raamnissen in de voorgevel zijn in de negentiende eeuw vervangen door (gelukkig) kleine, eenvoudige ramen. De raamnissen in de oostelijke zijgevel, die uit vier kleine venstertjes bestaan. hebben hun oorspronkelijke stijlen en kruis behouden. Een ervan heeft twee bogen en dat duidt op het begin van de zestiende eeuw.

Op de eerste verdieping vinden we twee kleine raamnissen met twee ruiten erin en voorzien van een houten omlijsting. In dezelfde vleugel, achter aan de zijde van de binnenplaats, zien we een deur met stenen deurposten, die versierd zijn door middel van richels, en op de eerste verdieping twee raampjes die voorzien zijn van driehoekje bovendorpels. Het dak van het woongedeelte. bedekt met leisteen, bestaat uit twee lange vlakken. Het metselwerk van kleine bouwstenen zou uit de vijftiende ofte wel veertiende eeuw kunnen stammen. Het kasteel werd net als vel andere in brand gestoken (in 1296) door hertog Jean I. de Brabant, tijdens de Limburgse successieoorlog.

Vanaf 1273 verschijnen de gebroeders Anselme en Winand de Wilhonriw ten tonele op de kasteelboerderij.


Herman de Ghoor, zoon van Gérard, werd op zijn beurt Heer van Willonrieu en vervolgens was het zijn oudste zoon Henri de Ghoor (+1579) die deze titel mocht dragen. Door het huwelijk van laatstgenoemde met Barbe de Vaudemont van het huis van de Lorraine werd hij eigenaar van de baronie van Pesch, de Heerlijkheden van Cerfontaine en andere bezittingen. Op 29 mei 1560 word hij door de Spaanse koning tot overste heer van Hombourg en Remersdael benoemd, en op 24 mei 1561 ook tot heer van Viljaeren. Hij laat dit bezit op 31 december 1562 na aan zijn zoon Claude Herman de Ghoor, die de zijde van Willem van Oranje had gekozen.

Hij sneuvelt tijdens de slag van Gembloers (Gembloux) op 31 januari 1578 door een explosie van buskruit. Zijn bezittingen komen dan in handen van zijn zus Françoise, die Veltjaeren in familiebezit van haar echtgenoot Herman Thierry de Millendonk laat komen. Hun zoon Jean Pancrace de Millendonck volgt hun op. Doordat laatstgenoemde door een tegensteek in 1604 te Luik overlijdt, komt Veltjaeren in 1620 in handen van zijn weduwe Marguerite de Joyeuse en zijn zoon baron Claude Herman de Millendonck, die in 1638 de titel heer van Veltjaeren mag voeren. Na zijn dood in 1658 volgt zijn oudste zoon, hertog Louis François de Millendonck - de laatste mannelijke afstammeling van deze familietak hem op.

Op 17 mei 1663 wordt Veltjaeren verkocht aan Marie Agnès de Bautze, vrouwe van Clermont en aan haar zussen. Aangezien deze niet aan hun koopverplichtingen voldeden, werd het eigendom teruggenomen en opnieuw verkocht aan Adam de Croonenberg, heer van Henri Chapelle en Ruyff. Na diens dood, moeten zijn weduwe en kinderen het landgoed met een hypotheek belasten, een schuld aan Jacques de Magin. In 1710 werd het bezit onteigend en verkocht aan een zekere heer Cotzhausen. Vanaf dat moment is Veltjaeren niet meer door erfopvolging van eigendom veranderd. We weten dat in 1715 en 1718 Jacques Magin eigenaar is (protocol notaris Reul te Limbourg). Het betreft hier ongetwijfeld dezelfde persoon die eerder in 1695 geldschieter was. Waarschijnlijk zijn het zijn kinderen, te weten; Jacques Philippe, Anne Barbe Maguin en Marie Catherine Maguin (echtgenote van Gabriel de Sourmont), die hun deel van Veltjaeren als onderpand moeten inzetten voor een lening die hun is verstrekt.

Waarschijnlijk hebben zij Veltjaeren ten gevolge hiervan moeten verkopen. In de periode 1770-1780 is de Heerlijkheid het eigendom van De Sybertz, raadsman van de Palts te Düsseldorf. We weten niet wie de volgende eigenaar van Veltjaeren is. In 1838 is het eigendom van J.G.B.J. de Reul, geborene Lambertine Thér. Jos. Chaineux. Na haar dood komt het kasteel door erfopvolging terecht bij haar enige dochter Louise Therèse Gérard. Jos, de Reul, die trouwde met Graaf Paul Jos. Victor de Bourcier de Montureux. Op 10 juni 1863 (akte van notaris Dusart en Gillunet) wordt het bezit in vruchtgebruik gegeven aan vrouwe van Bourcier de Montureux, geb. de Reul, en wordt het toegewezen aan hun kinderen, Alice-Amélie, Alfred, Anatole, Emma-Juliette (echtgenote van Lucien Breuls), Marie Philippine, Marcel en Léonce de Bourcier de Montureux.