传说，在地中海里有一个小岛，海盗团伙众多，又总是相互发生冲突。有一天，海盗们从地下挖掘出大量宝石，兴奋和喜悦竟然让大家忘记了仇恨，在欢呼声中互相拥抱、握手言和。于是，海盗首领根据《圣经》鸽子衔回橄榄枝的故事，将这种恰似橄榄枝颜色的宝石称为橄榄石。绿色的橄榄枝象征着和平、美好和幸福，橄榄石也就被赋予了同样的寓意。
但传说故事不一定可信，下面回顾一下它的历史！橄榄石盛行于古希腊罗马时代早期。在公元前的1500年，当埃及人在红海海岸80里处的塞布盖特建立宝石矿开采宝石时，古希腊人和罗马人就开始迷恋上了橄榄石，传统的橄榄石的开采多在夜晚进行，因为她在夜晚散发的自然光芒更容易被发现。古埃及人甚至相信橄榄石在太阳光下能隐身。同时他们也认为橄榄石是用他们的阳光之神“拉”的金辉染成的，因此她具有保护人免于伤害的强大力量。
夏威夷土著人则相信橄榄石是太阳女神佩尔掉下的眼泪，《圣经》中记载（旧称“贵橄榄石”）橄榄石是火之石（《旧约》第尔十八章第13－16节），是上帝赠予摩西让其安在亚伦的胸甲上（《出埃及记》第二十八章第15――３０节）橄榄石也是巴多罗马（耶酥十二使徒之一）石，是耶路撒冷城墙的十二枚奠基石之一（《启示录》第二十一节第十九段），代表耶酥十二使徒之一的巴多罗买。
1994年，在巴基斯坦发现了令人激动的橄榄石矿，那里出产的橄榄石异常美丽，这一新矿位于克什米尔巴基斯坦所属的喜马拉雅山脉以西的纳嘎帕特地区，海拔15000英尺。
克莉奥佩特拉所收集的大量“祖母绿”，事实上就是橄榄石。
土耳其苏丹在他统治的600年间（1300年―1918年）也大量收集橄榄石，无论是未经加工的生石还是耳环、戒指等珠宝。
橄榄石一直是人们喜欢的宝石，它也有自己的许多传奇。埃及人称橄榄石为“太阳的宝石”，相信它有太阳的力量，佩戴它的人可消除夜间的恐惧；而在美国夏威夷，人们称橄榄石为“火神”的眼泪，也许是因为当地橄榄石大多产在火山口周围的火山岩石中，斑斑点点，仿佛是火山喷出的泪滴，包裹在黑的火山岩中。
