От него остались двое детей: сын Балдуин, который занял престол под именем Балдуина IV, и дочь Сибилла, ставшая желанной добычей для женихов. Матери своей они почти не знали, и не потому, что она умерла — Агнесса Эдесская была жива и здорова. Она вышла замуж за Амори, когда тот еще не был королем. Супруги мирно прожили несколько лет, родилось двое детей, и тут со смертью брата Амори должен был унаследовать престол. Но соперники Амори вспомпили, что Агнесса приходится ему четвероюродной сестрой. По наущению врагов Амори патриарх Иерусалимский объявил их брак недействительным.
Перед Амори встала проблема: престол или жена. Он выбрал престол, выторговав при этом право считать своих детей законными. Так что Агнесса была изгнана из королевского дворца, а Сибилла и Балдуин остались в нем. Агнесса потом утешилась: она снова вышла замуж.
Сибилла росла девочкой своенравной, вспыльчивой и злой. Брат ее, будущий король, был увальнем, добродушным, ленивым и неумным. Сибилла осталась во дворце отца, а мальчика передали на воспитание графу Раймунду Триполийскому.
Раймунд был наиболее осмотрительным и разумным из всей латинской знати и пользовался громадным авторитетом. Отец его был в 1150 году убит ассасинами в Триполи, и рос он при регентстве матери. В 1165 году Раймунд попал в плен к сирийскому атабеку Hyp ад-Дину, провел восемь месяцев в тюрьме, но был выкуплен королем Амори. Раймунд был представителем антивизантийского крыла крестоносцев. Для этого помимо причин политических была и причина личная: византийский император Мануил сватался к его дочери Мелизанде, но послы обнаружили у нее нервную болезнь, и император отказался от этого брака, взяв в жены вместо Мелизанды Марию Антиохийскую.
Поэтому византийские корабли обходили Триполи стороной, а на счету Раймунда было несколько жестоких набегов на греческие города побережья Малой Азии.
Раймунд был известен своей осторожностью и даже, как утверждали его враги, трусостью. В запутанном и нездоровом мире ближневосточной политики он был опытен, изощрен и непотопляем.
Однажды, когда Балдуину было девять лет, Раймунд обратил внимание на то, что, играя с другими детьми, Балдуин почему-то не реагирует на щипки и удары, вроде бы болезненные. Раймунд подозвал его, взял иглу и уколол Балдуина в руку. Тот даже глазом не моргнул. Раймунд сразу понял, что произошло: мальчика настигла проказа.
Проказа была бичом Ближнего Востока. Уже не один рыцарь становился ее жертвой.
