Plebania ewangelicka w Pasymiu zachowała się do dzisiaj bez większych zmian. Ściany pamiętają nocleg Napoleona w 1807 roku i powitanie cesarz przez dzieci.
Nietrudno znaleźć kościół ewangelicki w Pasymiu. Jego masywna wieża jest jedną z dominant tego małego miasteczka. Tuż obok świątyni, przy krótkiej uliczce Jedności Słowiańskiej schodzącej ku oddalonemu o jakieś sto metrów jezioru Kalwa, stoi jednopiętrowy budynek plebanii.
2 lutego 1807 roku Napoleon opuścił Wielbark, w którym nocował od 31 stycznia (patrz: Wielbark czyli pijaczek przewodnikiem)i ruszył w kierunku Pasymia (noisł wtedy nazwę Passenheim). Jako przednie siły Wielkiej Armii szły korpusy marszałków Murata i Soulta. Pod Pasymiem Francuzi starli się z wojskami rosyjskimi pod dowództwem pułkownika Michała Dołgorukiego. To był pierwsza potyczka ofensywy napoleońskiej w Prusach Wschodnich. 8 Pułk Dragonów Korpusu Murata poniósł dotkliwe straty – ok. 100 zabitych i rannych. Mimo tego Rosjanie musieli się wycofać a do Pasymia wjechał Napoleon.
Zatrzymał się w domu miejscowego pastora ewangelickiego pełniącego jednocześnie funkcję superintendenta (odpowiednik katolickiego biskupa diecezjalnego, opiekun i zwierzchnik pastorów z intendentury warmińskiej), Pawła Sonnenberga.
Na powitanie gościa wyszła grupka dzieci a jedna z dziewczynek wręczyła cesarzowi bukiet kwiatów i wygłosiła wierszyk (niestety, nie wiadomo jaki). Napoleon w podzięce pogłaskał ją po twarzy…
Cesarz tylko przenocował w Pasymiu. Napisał także (jak z każdego postoju) kilka rozkazów, m.in. dla marszałka Davouta, by ten kierował się ku Pasymowi. Napoleon jeszcze nie wiedział, jakie plany mają przeciwnicy, ale parł do bitwy. Po kilku potyczkach, doszło do niej dopiero za osiem dni pod Lidzbarkiem Warmińskim.
Cesarz wraz z Gwardią opuścił Pasym 3 lutego wczesnym rankiem. Tego samego dnia dotarł do Olsztyna, ale o tym – innym razem.
Na budynku plebanii w Pasymiu, 9 lutego 2007 roku, burmistrz Bernard Mius i proboszcz Witold Twardzik odsłonili tablicę upamiętniającą pobyt Napoleona w tym domu. Cesarz nocował w pokoju na I piętrze, okna od szczytu domu.