آنان که به امامت جعفر پسر امام هادي عليه السلام گرويده بودند به 4 گروه تقسيم مي شوند:

1 - عده اي گفتند: «جعفر» برادر امام عسکري عليه السلام، امام است، اما نه اين که برادرش امام حسن عسکري عليه السلام وصيت کرده باشد که بعد از او «جعفر» امام است، بلکه به اين دليل که برادرش، امام عسکري عليه السلام پسري نداشت، پس به ناچار امامت به برادرش «جعفر» مي رسد و او امام دوازدهم است.

2 - برخي معتقد بودند: «جعفر» امام است به دليل اين که برادرش امام حسن عسکري عليه السلام وصيت کرد و او را جانشين خود قرار داد. اين فرقه هم، مانند فرقه قبلي «جعفر» را به عنوان امام دوازدهم پذيرفتند.

3 - برخي نيز بر اين باور بودند که «جعفر» امام است و او اين امامت را از پدرش به ارث برده است، نه از برادر، بلکه امامت برادر، امام حسن عسکري عليه السلام باطل بود، چرا که امام عسکري عليه السلام فرزندي نداشت، و امام بايد فرزندي داشته باشد تا امر امامت استمرار يابد. آنها مي گويند: از اين که امام حسن بن علي عليه السلام پسري ندارد، مي فهميم که بعد از امام هادي عليه السلام امامت به «حسن» نرسيده است، بلکه به پسر ديگر امام هادي عليه السلام، يعني «محمد» نيز نرسيده است، چرا که «محمد» در زمان حيات پدر درگذشت. بنابراين، به ناچار بايد پذيرفت که امامت بعد از امام دهم عليه السلام به «جعفر» رسيده است و او امام يازدهم شيعيان است.

4 - عده اي ديگر بر اين امر پافشاري کردند که، «جعفر» امامتش را از برادرش «محمد» به ارث برده است. اين گروه بر اين باور بودند که پسر امام هادي عليه السلام، «ابوجعفر، محمد بن علي» که در روزگار پدرش ‍ درگذشت، به وصيت پدر امام بود، و به اسم و رسم، او را به امام تعيين کرده بود، و چون هنگام مردن «محمد» فرا رسيد بر آن شد که براي جانشيني خود کسي را پيدا کند تا امر امامت را به وي بسپارد، ناچار راز امامت را با غلامي خردسال به نام «نفيس» که خدمتگزار او بود، در ميان گذاشت، و کتاب ها، دانش ها، جنگ افزار و آنچه را که امت اسلامي بدان نيازمند بود، به وي سپرد و به او وصيت کرد که هرگاه مرگ پدرش؛ يعني امام هادي عليه السلام فرارسيد، همه آنها را به برادرش «جعفر» بسپارد.

اين گروه امامت امام حسن عسکري عليه السلام را قبول نداشتند و مي گفتند که پدرش او را جانشين خود قرار نداده بود، بلکه «محمد بن علي» امام يازدهم بود و بعد از او «جعفر» امام شد.