Село Велика Рублівка знаходиться на лівому березі річки Мерла, вище за течією на відстані 3,5 км розташоване село Ковалеве, нижче за течією примикає село Терни, на протилежному березі — село Мала Рублівка. По селу протікає Балка Почшарова з загатою.
Перші згадки про Рублівку, яка тоді була сотенним містечком Охтирського полку, сягають 1658 року. У 1680 році поселення зазнало спустошливого нападу татар. Через постійну загрозу з боку кочівників, на правому березі річки Мерла було збудовано оборонні фортифікаційні споруди. У 1708 році Рублівка отримала статус слободи. Слобода Рублівка поділялась на дві частини: Малу (старовинна частина) та Велику (новіша частина).
У 1765-1769 роках Рублівка входила до складу 2-ї Зіньківської сотні Гадяцького полку. З 1781 року – у складі Говтвянського повіту Київського намісництва. З 1802 року – у складі Зіньківського повіту Полтавської губернії. Жителі займалися землеробством, скотарством, рибальством, ремеслами. Збудовано церкву Успіння Пресвятої Богородиці, яка згодом стала одним із символів села. Відкрито декілька шкіл, у тому числі земську та церковно-приходську. Слобода активно розвивалась, ставши важливим торговим та ремісничим центром.
Початок XX століття ознаменувався бурхливими подіями: Першою світовою війною, революцією та громадянською війною. В 1917 році село стало частиною Української Народної Республіки. Та у 1920-х роках у Великій Рублівці було встановлено радянську владу. Село було колективізовано, а багато заможних селян репресовані. Під час Другої світової війни село було окуповане німецько-фашистськими загарбниками. Багато жителів Великої Рублівки загинули на фронті або в окупації. Після війни село було відбудоване, але багато історичних пам’яток було втрачено.У 1960-х роках тут було збудовано школу, лікарню, клуб та інші об’єкти соціальної інфраструктури.
Сьооднішня Велика Рублівка – це сучасне село з населенням близько 1500 осіб. У 2020 році Великорублівська сільська рада була об’єднана з декількома іншими сільськими радами, утворивши Великорублівську громаду.Тут є школа, дитячий садок, лікарня, амбулаторія, аптека, клуб, бібліотека, магазини.