Mens hans kolleger var tilfredse med at være nået til Rom, drev rastløsheden og eventyrlysten Rørbye til også at besøge Grækenland og Konstantinopel. Undervejs måtte han trodse sit dårlige helbred og ofte gå ugevis i samme tøj, sove på gulve og utrætteligt udstå frostvintre på steder, hvor han end ikke kunne gøre sig forståelig over for den lokale befolkning.
På disse rejser var dagbogsskriveriet et fast ritual, som Rørbye overholdt med forbløffende vedholdenhed. Såvel i indhold som i hyppighed er dagbogsnotaterne således udtryk for hans pertentlige og alvorlige temperament, der uretmæssigt gav ham ry for at være lidt af en dødbider blandt kunstnerne. Men selvom han er hård i sin dom over for sine landsmænd og fagfæller og aldrig løssluppen i deres selskab, så viser han sig også som en åbensindet rejsende fuld af sympati for det fremmede,
De bevarede dagbøger stammer fra tre af Rørbyes større rejser. Den første omhandler en rundtur i Jylland og Norge i 1830; den anden angår hans store dannelsesrejser til syden i årene 1834-37; og den tredje (i to bind) beretter om hans italienske bryllupsrejse med hustruen Rose i årene 1839-41. Selvom de tre dagbøger er indbyrdes forskellige i deres form, afspejler de alle Rørbyes samvittighedsfulde registrering af sin færden, sit arbejde og sine bekendtskaber. Og det i sådan grad, at dagbogen fra rejsen 1834-37 formodentlig er den mest fuldstændige kilde til en dansk kunstners studierejse i 1800-tallets første halvdel.
Selve dagbogsteksten er blevet digitaliseret og offentliggjort i sin helhed online under KTDK. Teksten vil i løbet af 2019 gradvis blive forsynet med kommentarer og suppleret med de tilhørende lister og regnskaber.
Kilder til Dansk Kunsthistorie
Ny Carlsbergfondet igangsatte i efteråret 2015 digitaliseringsprojektet Kilder til Dansk Kunsthistorie, KTDK. Her stiller fondet midler og digital platform til rådighed for arbejdet med digitalisering og tilgængeliggørelse af kildemateriale til udvalgte danske kunsthistoriske emner. Senest er Elisabeth Jerichau Baumanns breve fra London og Fynbomalernes private breve blevet offentliggjort online.