1968年的蘇格蘭，在親眼目睹格列斯穿過石陣中央的大石頭消失無蹤后，布麗安娜相信了母親的話。羅杰在養父收集的資料基礎上，幫助克萊爾和布麗安娜梳理穿越時空的內在機理。從克萊爾回歸的時間點上分析，穿越之后的時間流逝與現代是一致的。所以現在要查清楚一件事，克萊爾回來已經有二十年，那克羅登之戰二十年后的1763年，杰米是否還活著。翻遍了牧師留下的古文獻紀錄，克萊爾終于在阿德思穆爾監獄的登記表里看到了熟悉的名字，詹姆斯·弗雷澤。從1753年到1755年，每年都有杰米的名字。但1756年監獄關閉，杰米再次下落不明，克萊爾剛剛燃起的希望之火又瞬間熄火。也許正如格雷厄姆太太所預言的，將窮盡一生追逐一個漂蕩不定的幽靈。

1756年的赫爾沃特城堡，剛從意大利回來的鄧薩尼大人一走下馬車，就吩咐管家埃文斯把新男仆叫來。遵照約翰的建議，杰米改名為亞歷山大·麥肯齊，使用了母親的姓氏。鄧薩尼大人的兒子戈登死于詹姆斯二世黨的叛亂，他只知道杰米參與了那次叛亂，卻并不知道杰米是起義的頭領之一“紅杰米”。在鄧薩尼大人看來，兒子是為了信仰獻身，蘇格蘭人也被打敗，因此沒有什么可怨恨的。但鄧薩尼夫人未必這么想，所以鄧薩尼大人決定盡量向夫人隱瞞此事。杰米則當個馬夫，避免在城堡里走動，這也正合了杰米的意。

在馬廄里，杰米一直謹小慎微的做事。可大小姐日內瓦的脾氣實在讓人難以恭維，她的妹妹伊澤貝爾小姐卻迥然不同，平易近人毫無架子。從不多的對話中，杰米能感覺出伊澤貝爾不貪慕虛榮，對約翰·格雷少校情有獨鐘。只不過杰米很清楚約翰并不喜歡女人，卻又不便破壞伊澤貝爾的深情。一年后，鄧薩尼大人為了家族的利益，打算將女兒日內瓦許配給埃爾斯米爾伯爵。此人年過半百又目中無人，為此日內瓦心情無比郁悶。

日內瓦每天都要騎馬散心，陪她出行是份苦差事，馬廄里的伙計每天都會抽簽決定誰是那個倒霉家伙。今天，日內瓦突然指定由杰米陪護，其他幾個伙計都忍不住笑出聲來。杰米無奈，只能準備好馬匹。行進到樹林的小路上，日內瓦出乎意料的和杰米談論起自己的未婚夫。杰米哪敢隨便答話，只是催著大小姐盡快返回城堡。任性的日內瓦反而縱馬狂奔，等杰米沿著小路找到她時，只見她倒在地上一動不動。杰米趕緊上前抱起日內瓦準備回城堡救治，卻聽到懷里傳來日內瓦的笑聲。被人戲弄的滋味不好受，杰米猛的松手，任憑日內瓦掉進水洼。日內瓦小姐反而更加開心樂不可支，把杰米氣得獨自上馬，回了城堡。

日內瓦并沒有將杰米的不敬告訴父親，所以偶爾來拜訪赫爾沃特城堡，順便找杰米下棋的約翰聽到的都是鄧薩尼一家對杰米的稱贊。可無巧不成書，約翰的哥哥梅爾頓·格雷上校也看到了杰米。從約翰和梅爾頓說話的神情和語氣中，冰雪聰明的日內瓦猜出杰米一定另有隱情。距離婚禮只有三天的時候，日內瓦小姐特意前往馬廄，向杰米提出了一個讓人吃驚的要求，她絕不會把處子之身交給那個老色鬼伯爵。這個要求，杰米無法拒絕，因為日內瓦已從梅爾頓的口中套出了“紅杰米”的秘密。

當晚，杰米偷偷進入城堡，來到日內瓦的房間。或許日內瓦小姐此前是為了報復父親和埃爾斯米爾伯爵，可她的確喜歡和杰米在一起的感覺。在激情的碰撞過后，她才真正意識到自己愛上了杰米。杰米卻無法接受她的感情，克萊爾在他心里是獨一無二的。幾個月后，成為伯爵夫人的日內瓦挺著大肚子回到赫爾沃特城堡。為伯爵夫婦打開馬車門的杰米暗暗心驚，日內瓦肚子里可能就是他的孩子。

一天清晨，伊澤貝爾慌慌張張的跑到馬廄，讓杰米立刻準備馬車前往伯爵府。日內瓦生產不順，鄧薩尼全家都匆忙趕去。杰米坐在馬車夫身旁，第一次來到金碧輝煌的伯爵府。鄧薩尼一家人和女仆匆匆進府看望日內瓦，杰米只能呆在下人的房間打聽消息。日內瓦生下 一個健康的男嬰，但她自己卻出血不止。杰米內心焦急，如果克萊爾在場一定知道如何救治日內瓦。

很不幸，杰米從伊澤貝爾口中得知，日內瓦沒有挺過來。而且紙包不住火，日內瓦結婚后從未與伯爵同過床。伯爵抓起剛出生的嬰兒，手里握著匕首，堅決不承認與鄧薩尼達成的協議。鄧薩尼大人不相信自己的女兒會做出敗壞門風的事，與伯爵的爭吵幾乎失控。杰米趕緊擋在鄧薩尼的手槍前，勸雙方放下手中的武器。接過鄧薩尼大人手中的槍后，杰米慢慢走向伯爵，希望他把孩子交給鄧薩尼大人。哪知伯爵認定自己的名譽受辱，舉起手中的匕首刺向嬰兒。杰米不由分說舉槍便射，從伯爵懷中救下了自己的孩子。

孩子被取名威廉，在伊澤貝爾的照顧下健康成長。他的身世只有杰米和伊澤貝爾知道，伊澤貝爾會時不時的創造機場讓杰米與孩子相處一會。伯爵的死因也在鄧薩尼家族的斡旋下，判為喪妻悲痛自殺。鄧薩尼夫人很感激杰米所做的一切，雖然對杰米的身份有所耳聞，但仍愿意幫杰米恢復自由，返回蘇格蘭。杰米不想離開自己的兒子，以需要賺錢寄給家人為由，留在了赫爾沃特城堡。

時光飛逝，1764年威廉六歲了，并繼承了伯爵的稱號。杰米會在城堡的草地上教他如何熟練的駕馭馬匹，成為一名出色的騎手。可小威廉越來越像杰米，有時會引起一些不必要的議論。為了避免這樣的議論，杰米決定回家，回蘇格蘭。在離開前，他將威廉托付給摯友約翰。約翰早就看出威廉與杰米的關系，而且他還做了另外一個驚人之舉，與伊澤貝爾訂婚。約翰和伊澤貝爾都會視威廉如己出，悉心照顧。這讓杰米對這位英格蘭軍官不由得心生敬意。