اسمیت در ۱۸۴۷ در حالی که از شوهرش طلاق گرفته بود، همراه با مادر و پسرانش به لانکاستر رفت و در آنجا به‌عنوان خدمتکار وکیل، بازرگان و فعال ضد برده‌داری تادئوس استیونز مشغول به کار شد. استیونز سال بعد به‌عنوان نماینده مجلس انتخاب شد و اسمیت نیز همچنان عهده‌دار امور خانه وی تا زمان مرگ اسمیت در ۱۸۶۸ بود.
شواهد دقیقی در مورد ماهیت رابطه میان استیونز و اسمیت در دست نیست اما در نامه‌ای که استیونز خطاب به وی نگاشته از او با عنوان «خانم اسمیت» یاد می‌کند؛ عنوانی نامعمول برای یک کلفت آفریقایی‌تبار در آن زمان. همسایگان نیز از وی با عنوان همسر عرفی استیونز یاد می‌کردند. با وصیت استیونز، اسمیت امکان یافت تا از ثروت او یا پنج هزار دلار بردارد یا اینکه سالانه ۵۰۰ دلار دریافت کند. همچنین به وی اجازه داده شد هر چه می‌خواهد از وسایل خانه برای خود بردارد. با این ثروت اسمیت توانست خانه استیونز را بخرد.
استیونز و اسمیت در حوزه تاسیس «راه آهن زیرزمینی: اصطلاحی در اشاره به مسیرهای مخفی برای فرار بردگان به ایالات آزاد طی جنگ داخلی» فعال بودند؛ امری که در نهایت به آتش زدن آهنگرخانه استیونز با نام کالدونیا فورانس طی جنگ داخلی انجامید. کاوش‌های اخیر در خانه آنان واقع در لانکاستر به کشف یک آب انبار در آنجا انجامید که با راهرویی به کافه‌ای در نزدیکی راه داشت. در این آب‌انبار پناهگاهی نیز برای بردگان فراری تعبیه شده است.
اسمیت خانه‌ای در کنار خانه استیونز در ۱۸۶۰ خرید. طی نبرد گیتزبرگ در ۱۸۶۳ و پس از آن، اسمیت اسب و واگنی به میراث برد که با استفاده از آن غذا و سایر تجهیزات برای زخمی‌های دو طرف جنگ گردآوری می‌کرد و به بیمارستان‌های موقت می‌برد. پس از مرگ استیونز در ۱۸۶۸، اسمیت علاوه بر خرید خانه او در لانکاستر، مهمانخانه‌ای پررونق در حوالی ویلارد هتل واشنگتن تاسیس کرد و در عین حال در املاک سرمایه‌گذاری می‌کرد.
لیدیا همیلتون اسمیت در هفتاد و یکمین سالروز تولدش در ۱۸۸۴ در واشنگتن درگذشت و بنا بر وصیتش در گورستان کاتولیک سنت ماریِ لانکاستر به خاک سپرده شد. در فیلم «لینکلن» ساخته استیون اسپیلبرگ (۲۰۱۲)، اس. اپاتا مرکرسون در نقش خانم اسمیت ظاهر می‌شود.
