C'è molta confusione sulla storia di questa barca, o addirittura sul suo nome, ma sembra che il termine sia apparso tra la fine del XIX e l'inizio del XX secolo.
Le sue origini geografiche si collocano tra la bassa valle del Mississippi e la regione degli Ozarks, un'area che oggi si estende su quattro stati diversi ed è famosa per le sue acque tranquille.

All'epoca, questa imbarcazione era definita da Charles Hallock, editore di Field and Stream, come "una barca a fondo piatto per navigare in acque poco profonde e in grado di trasportare un pescatore o un cacciatore, l'attrezzatura e il suo cane"
Da qualche parte tra il Mississippi e gli Ozarks
Grazie alla purezza delle sue acque, la regione dell'Ozark è stata a lungo considerata una meta di vacanza perfetta per gli americani di città che venivano a pescare, a cacciare le anatre o semplicemente a godersi l'aria fresca. Nel corso del tempo, l'abbondanza di pesce ha aumentato l'interesse per la pesca e quindi la popolarità della barca Jon. Le barche Jon furono quindi utilizzate per trasportare i turisti e per andare a pesca nei corsi d'acqua della regione. Con il tempo, il nome divenne addirittura "Jon boat (o johnboat) dell'Ozark".
Inizialmente si trattava di imbarcazioni piuttosto primitive che perdevano. Per compensare questo inconveniente, alcuni proprietari immergevano le loro barche quando non le usavano per gonfiare il legno e renderle più impermeabili. Un'altra caratteristica era quella di accendere un fuoco di legna al centro della barca, o delle torce per la pesca notturna.
Un'altra attività associata alle barche Jon era la pesca delle cozze d'acqua dolce, iniziata su base commerciale tra il 1890 e il 1900 e che ha reso popolare la barca.

Nel corso del tempo, le barche sono state modernizzate: il legno ha lasciato il posto al metallo, poi all'alluminio, alla vetroresina o al polipropilene. Gli scafi, pur rimanendo piatti o quasi, sono migliorati e gli interni di alcuni modelli incorporano ora attrezzature, anche se l'idea è sempre quella di mantenere la barca il più semplice possibile.