芬园乡乡名「芬园」，据传；于清朝年间，有人在此地种植菸草〈闽语称菸为芬或薰〉，故称「芬园」，初作「芬园新庄」。但当时所种植枝菸草，可能并非一般人常抽香菸的菸草，而是鸦片烟，也就是罂粟〈或称阿芙蓉或合敷融〉。至于「芬园」此一地名最早源自何时？根据洪敏麟先生的考证研究指出：「按道光年间尚无芬园聚落地，地名之发生当在其后。光绪十年〈一八八四〉法人之役，南北禁港，商船杜绝，雅〈鸦〉片不至，于是嘉、彰各属多有种者。芬园地名当发生于此时」因此，「芬园」之得名，应是近一百一十馀年来的事情。