已知最古老的象化石是大约6000万年前古新统地层中发现的初象化石，初象只比兔子略大，体重才4～5千克。更晚一些的5500万年前的磷灰象，体重已增加到10～15千克。但初象和磷灰象化石材料非常少，古生物学家对它们的`身体形态和生活方式还缺乏了解。
科学家了解得比较清楚的最原始长鼻类是始祖象科的动物，它们的化石出土于埃及始新世晚期的沉积物中，代表动物是始祖象。始祖象是一种行动笨拙的动物，体形只有猪那么大，体重200多千克。始祖象的身体在比例上比今天的大象更长，其强壮的四条腿的末端生有宽阔展开的脚，脚趾的末端生有扁平的蹄子。始祖象在牙齿形态和结构上已经具有一些后来的长鼻类的特征，就是其上门齿和下门齿中的第二枚门齿增大，而今天的象牙就是特指大象极度增长的第二枚上门齿。
始祖象的外鼻孔位于头骨前端。这一点相当重要，根据解剖学上的对比，可以很清楚地知道，尽管始祖象可能长有厚厚的上唇，但尚未形成长鼻类特有的长鼻。由此判断，更原始的初象和磷灰象也是没有长鼻的。始祖象的鼻孔和嘴唇连在一起，构成了一个灵巧的肌肉器官，可以搜寻食物，这实际上是象鼻的一种雏形，因此可以断定这些温柔的食草动物是大象在远古时期的近亲。