1434年8月、ブルネレスキは逮捕・投獄された。容疑は石工組合の会費不払いだった。石工組合の年間会費は12ソルド、ドーム建設で働く石工たちのほぼ1日分の金額だった。それほどの額でも滞納している組合員は多く、ブルネレスキだけが捕らえられる理由はなかった。
1433年9月、コジモ・デ・メディチが政府転覆の罪でシニョリーア宮の塔に幽閉され、その後ヴェネツィアに追放されたことも影響したらしい。アルビッツィ派の指示で、石工組合のコンソレ（頭領）の一人、レイナルド・シルヴェストリが画策したとされている。
造営局の委員たちは直ちに釈放のために動き、8月31日、ブルネレスキは投獄から2週間足らずで釈放された。その翌日、メデイチ反対派のリナルド・アルビッツィがフィレンツェから追放され、コジモがヴェネツィアから呼び戻された。
それから間もない、10月、ブルネレスキの養子ブッジャーノが自宅から金と宝石を持ち出して、ナポリへ逃亡した。
生涯結婚しなかったブルネレスキは、アンドレーア・カヴァルカンティ（別名ブッジャーノ）を養子にしていた。ブルネレスキの父セル・ブルネレスコが葡萄畑やオリーブ畑を持っていたピストイアに近い村ブッジャーノで出会ったらしい。7歳のときにフィレンツェに来て、それまで15年間ブルネレスキと同居している。

1434年のフィレンツェ共和国の文書にブッジャーノは彫刻家として記録されている。腕のいい彫刻家だったらしく、ブルネレスキは多くのプロジェクトでブッジャーノを起用している。サン・ロレンツォ聖堂のコジモの両親ジョヴァンニ・デ・メディチと妻ピッカルダの石棺彫刻なども任されている。しかしブルネレスキは2年間ブッジャーノに給料を支払っていなかった。そのため22歳のブッジャーノはナポリで、自分の名前で仕事をしようと考えたらしかった。
ブルネレスキは当時フィレンツェに滞在していた教皇エウゲニウス4世に訴え、教皇からナポリ女王ジョヴァンナに宛てた要請状（アルベルティが代筆）が出された。ブッジャーノはフィレンツェに送り返され、その後ブルネレスキの正式な相続人に指名された。

フィレンツェ大聖堂建設　24 献堂式・ドーム奉献