Si presume che il castello sia stato edificato intorno al 1200: risale infatti al 1164 il diploma con cui Federico I di Hohenstaufen, detto Barbarossa, investe il marchese Obizzo Malaspina di molte proprietà tra cui le terre avetane. Il controllo e la difesa del feudo da parte dei Malaspina iniziano quindi ancor prima della divisione familiare nei due rami: “spino secco” e “spino fiorito” avvenuta nel 1221. Il feudo di S. Stefano d’Aveto appartenne al “ramo secco” dei Malaspina fino al 1495, dopodiché, a causa di un progressivo declino provocato anche dalla forte disunione tra i membri della famiglia medesima, fu ceduto a Gian Luigi Fieschi detto il Vecchio, conte di Lavagna. Ben presto i Malaspina vengono assaliti dal rimpianto di aver ceduto, forse anche a poco prezzo, una terra a cui si sentono particolarmente legati e cercano in ogni modo di  riappropriarsene. Intentano quindi  una difficile causa contro i Fieschi, per  l’annullamento della vendita, ottenuta secondo loro, “con violenza e lesione”.  Ma la validità dell’alienazione è indiscutibile e quindi i Malaspina non potranno far altro che rassegnarsi alla perdita definitiva di quel feudo che  loro   tanto avevano amato.

Tra i documenti risalenti al periodo Malaspiniano di notevole importanza sono gli Statuti di S. Stefano,  opera che comprende trentanove pergamene meticolosamente manoscritte che dettano regole comportamentali e giuridiche adottate a quel tempo.

I 52 anni di feudalità dei  Fieschi trascorrono  in maniera tranquilla e solo un episodio sembra turbare la quiete del borgo: il passaggio delle truppe del marchese di Pescara nel suo viaggio verso Genova, che pare privasse la popolazione di ogni bene per consegnarlo alle sue truppe.

E’ proprio in questo periodo che la famiglia dei Fieschi (guelfa) stringe una salda amicizia con i Doria (ghibellini); pare addirittura che Andrea Doria sia intervenuto finanziariamente in aiuto di Sinibaldo Fieschi sempre in difficoltà economiche. Ma la sete di potere spinge Gian Luigi Fieschi, appoggiato anche dalla Francia e  dal Papa e accecato da fantasiosi miraggi, a uccidere Giannettino Doria, col progetto di creare un governo popolare repubblicano a Genova. Questo episodio è  passato alla storia come “Congiura dei Fieschi”. La sorte, però, è avversa al giovane feudatario; infatti nel tentativo di occupare le navi doriane, cade in mare e muore; a questo punto vengono raggiunti ed uccisi anche gli altri componenti della famiglia e si chiude così  la pagina della dominazione fliscana. In seguito alla fallita congiura dei Fieschi, nel 1547 Carlo V devolve al fisco imperiale tutti i loro beni, ivi compresi i possessi avetani, per farne successivamente    dono    ai      Doria. 

Tra i documenti risalenti al periodo Malaspiniano di notevole importanza sono gli Statuti di S. Stefano,  opera che comprende trentanove pergamene meticolosamente manoscritte che dettano regole comportamentali e giuridiche adottate a quel tempo.

I 52 anni di feudalità dei  Fieschi trascorrono  in maniera tranquilla e solo un episodio sembra turbare la quiete del borgo: il passaggio delle truppe del marchese di Pescara nel suo viaggio verso Genova, che pare privasse la popolazione di ogni bene per consegnarlo alle sue truppe.

E’ proprio in questo periodo che la famiglia dei Fieschi (guelfa) stringe una salda amicizia con i Doria (ghibellini); pare addirittura che Andrea Doria sia intervenuto finanziariamente in aiuto di Sinibaldo Fieschi sempre in difficoltà economiche. Ma la sete di potere spinge Gian Luigi Fieschi, appoggiato anche dalla Francia e  dal Papa e accecato da fantasiosi miraggi, a uccidere Giannettino Doria, col progetto di creare un governo popolare repubblicano a Genova. Questo episodio è  passato alla storia come “Congiura dei Fieschi”. La sorte, però, è avversa al giovane feudatario; infatti nel tentativo di occupare le navi doriane, cade in mare e muore; a questo punto vengono raggiunti ed uccisi anche gli altri componenti della famiglia e si chiude così  la pagina della dominazione fliscana. In seguito alla fallita congiura dei Fieschi, nel 1547 Carlo V devolve al fisco imperiale tutti i loro beni, ivi compresi i possessi avetani, per farne successivamente    dono    ai      Doria.

Il primo feudatario a far sventolare lo stemma araldico dei Doria sui monti della Val d’Aveto fu Antonio , nipote di Giannettino. A lui si deve il rifacimento del castello di Santo Stefano nelle forme che possiamo intuire dai poderosi ruderi rimasti. Importanti furono anche i suoi interventi nell’economia feudale, come ad esempio lo sfruttamento delle foreste di faggio che ricoprivano il territorio.  Antonio morì nel 1577 e a lui succedette il figlio Giovanni Battista, detto Giobatta, il peggior feudatario di ogni tempo. Scacciato a furor di popolo, verrà sostituito dallo zio Gian Andrea I, figlio di Giannettino. Nel 1606 Gian Andrea i muore e gli succede il figlio Andrea II che regna per dodici anni senza lasciare tracce significative. In seguito regnerà  Gian Andrea II marito di Polissena, figlia di Federico Landi che detiene arbitrariamente i feudi di Bardi e Compiano, in realtà appartenenti ai Farnese. I due territori vengono così portati in dote  ai Doria e questo fa scatenare l’ira dei Farnese  che attaccano più volte il marchesato di Santo Stefano. Le trattative finali assegnano Santo Stefano ai Doria, Bardi e Compiano ai Landi. Dal 1640 il feudo vedrà susseguirsi una serie di “signori bambini”, l’ultimo dei quali Gian Andrea III sposerà Anna Pamphili e darà origine al ramo dei Doria-Pamphili che regnerà in Val d’Aveto fino alla fine dell’epoca feudale. Ultimo feudatario di Santo Stefano sarà Andrea IV che, travolto dalla tempesta napoleonica, nel 1797 porrà fine alla feudalità Doriana in Val d’Aveto.
Si racconta anche che gli abitanti di Santo Stefano, stanchi degli abusi, abbiano  gettato   i  “bravi” dell’ultimo  feudatario dal ponte nel centro del paese che porta ancora oggi il nome di Ponte dei Bravi.
La Val d’Aveto è legata al nome dei Doria, anche per un singolare episodio religioso. La parrocchia di Santo Stefano è dedicata alla Madonna di Guadalupe, venerata in paese dal 1802.
 Nel 1811  il cardinale Giuseppe Doria Pamphili Landi, venuto a conoscenza di tale culto, donò alla Parrocchia una tela raffigurante la Vergine di Guadalupe,  a lui pervenuta dai suoi avi.
Il quadro, ora posto al centro dell’altareamaggioreadellaaparrocchiale, fu dipinto  poco tempo dopo l’apparizione della Vergine a Juan Diego avvenuta a Città del Messico nel 1531. Esso è una copia autentica della miracolosa immagine originale e fu regalato dall’Arcivescovo Montufar al Re Filippo II di Spagna, il quale ne fece dono all’Ammiraglio genovese Gian Andrea Doria, che lo portava nella cappella del suo galeone durante la battaglia di Lepanto (1571).

Ciò che oggi vediamo del castello rappresenta il rifacimento attuato dai Doria di una costruzione precedente, risalente all’epoca dei Malaspina, che si presume, fosse costituita da mura potanti in pietra e il resto dell’edificio in legno, materiale  facilmente reperibile in zona, ma anche facilmente incendiabile. Del castello restano oggi quasi intatti solo i muri perimetrali dalla poderosa pianta pentagonale mentre il tetto, i piani interni e la torre sono in gran parte crollati. Il tetto era poco spiovente e costituito da “chiappe della carca di Rezzoaglio” mentre i baluardi erano coperti di rame così come le gronde. L’altezza media delle  mura esterne era di  circa  17,50  metri   con   uno  spessore alla base di 2/3 metri e l’accesso al castello avveniva tramite un ponte levatoio. All’interno della fortezza s’innalzava una grande torre circolare alta 25 metri nella quale si trovava un pezzo d’artiglieria. Oggi, grazie alle opere  di  restauro eseguite in questi ultimi anni, che permettono una visita all’interno della poderosa costruzione, è possibile riconoscere al pian terreno (fig.1): il porticato, le prigioni “il granaretto, la Rapallina, il Groppo e la Comune”, la scuderia, il granaio, il cortile, un locale adibito a tribunale ed archivio e la cisterna per l’acqua. Al primo piano (fig.2) invece si trovavano le stanze padronali, l’alloggio del commissario, la Cappella S. Carlo e la polveriera, mentre il piano sottotetto era destinato agli alloggi per i militari, le sale di tortura e l’armeria.