ولكن الهداية إلى الدين القويم لم تكن إنذاك سهلة هينة.
وإذ كانت الوثنية ضلالاُ فأين الهداية ؟
و إذا ترك اللات و العزى و هبل فإلى أين يتجه ؟
و يستولى عليه شعور ديني ، و يغمره فيض من التطلع إلى المعرفة : فلا يجد مفراُ من الهجرة يستنبئ في أثنائها الظاعن و المقيم عله يجد من يرشده إلى سبيل الله القويم.
و القصة التالية توضح لنا – سواء إن صحت أم لم تصح – الكثير من جوانب نفسه ، و مما كان يشعر به نحو اليهودية و النصرانية حينئذ:
و ها هي ذي كما رواها صاحب الأغاني:
إن زيد بن عمرو خرج إلى الشام يسال عن الدين لكي يتبعه فلقى عالما من اليهود ، فسأله عن دينهم فقال : لعلي أدين بدينكم ، فأخبرني بدينكم.
فقال اليهودي: إنك لا تكون على ديننا حتى تأخذ بنصيبك من غضب الله.
فقال زيد بن عمرو : لا أفر إلا من غضب الله ، و ما أحمل من غضب الله شيئاً أبداً ، و أنا أستطيع ، فهل تدلني على دين ليس فيه هذا !
قال : ما أعلمه إلا أن يكون حنيفاً.
قال : و ما الحنيف .
قال : دين إبراهيم.
فخرج من عنده و تركه ، فأتى عالماً من علماء النصارى فقال له نحواً مما قال لليهودي.
فقال له النصراني : إنك لن تكون على ديننا حتى تأخذ نصيبك من لعنة الله.
فقال : إني لا أحمل من لعنة الله ولا من غضبه شيئاً أبداً و أنا أستطيع. فهل تدلني على دين ليس فيه هذا.
فقال له نحواً مما قال اليهودي : لا أعلمه إلا أن يكون حنيفاً.
فخرج من عندهما و قد رضى بما أخبراه ، و اتفقا عليه من دين إبراهيم ، فلما برز رفع يديه و قال:
اللهم إني على دين إبراهيم.
استمر زيد يجاهد في سبيل الوصول إلى الله.
كان يجاهد تارة بمنطقه و تفكيره ، و تارة بسؤاله كل من يصادفه من ذوي المعرفة الدينية ، كان يسأل الناس إذا أقام ، و يسألهم إذا ارتحل ، حتى انتهى في النهاية إلى مذهب اطمأنت إليه نفسه فخاطب قريشاً قائلاً:
" يا معشر قريش ، و الذي نفسي بيده ما أصبح منكم أحد على دين إبراهيم غيري"