Дороги, по которым шли германцы, были разрушены, продовольствие не подвозилось, на склонах гор и в замках стояли византийские отряды. В озлоблении голодные крестоносцы выжгли все деревни вокруг Филиппополя (теперь Пловдив) и разорили его предместья. Затем они захватили и разграбили несколько небольших городов. В Константинополь слетались панические донесения.
Исаак Ангел был не самым решительным из императоров Византии. Он растерялся и не смог выработать последовательной линии поведения. То он требовал, чтобы крестоносцы повернули обратно, то заявлял, что пропустит их, если они пообещают отдать Византии половину своих завоеваний в Азии, то добивался заложников в знак того, что Константинополю ничто не грозит.
Послов Фридриха, которые вели себя вызывающе, потому что знали, какая стоит за ними сила, он велел арестовать. Это, разумеется, не улучшило отношений между двумя императорами. Константинопольский патриарх выступил с проповедью, в которой назвал крестоносцев псами и объявил прихожанам, что за убийство крестоносца любому христианину будут отпущены грехи.
Исаак Ангел даже подписал соглашение с Салах ад-Дином против Кылыч-Арслана, что в глазах крестоносцев делало его предателем.
Сложилась неестественная ситуация: оба христианских монарха вступили в союз с врагами христианства.
Продвижение крестоносной армии все замедлялось. Наступила осень, пошли дожди, ночами стало холодно, а крестоносцы все еще плелись по Византии. Дисциплина падала, некоторые рыцари тайком поворачивали домой — поход продолжался уже более года, а до Иерусалима было далеко.
Начал терять выдержку и сам Фридрих. Он написал сыну Генриху в Германию, предлагая обдумать возможность удара по Византии, если помогут Венеция и Генуя, а римский папа не будет гневаться.
Свою ненависть к Византии Фридрих не скрывал, и осторожный Исаак Ангел поспешил с переправой крестоносцев в Малую Азию. В феврале 1190 года было подписано повое соглашение, по которому Византия предоставила Фридриху флот.
Малая Азия встретила крестоносцев негостеприимно.
Они двигались по ее западным районам, недавно разоренным союзником Фридриха, конийским султаном. Теперь, когда крестоносцы ушли в Азию, византийцы вообще перестали помогать им. Крестоносцы ели конину. Весна быстро превращалась в лето, днем было жарко, а ночи еще стояли холодные. Византийские гарнизоны запирались в крепостях при приближении крестоносцев. Город Филадельфия отказал крестоносцам в припасах, и они взяли его штурмом.