约翰二世于1092年9月1日被父亲阿莱克修斯一世加冕为共治皇帝来巩固继承权。虽然阿莱克修斯一世希望由约翰继承皇位,但皇后伊琳娜则更希望由他们的长女安娜·科穆宁娜和其丈夫小尼基弗鲁斯·布里恩尼奥斯(nikephoros bryennios the younger)来继位。阿莱克修斯为了避免伊琳娜的责备而掩饰了自己的选择,因为皇后认为小尼基弗鲁斯应该继位。1118年8月15日当阿莱克修斯在mangana修道院里奄奄一息之时,约翰带着他信任的亲属与他的弟弟副皇帝(sebastokrator)伊萨克·科穆宁偷偷前往修道院,并从他垂死的父亲那里获得了皇帝图章之戒。随后他一边举着手接受支持他的市民们的拥戴一边骑着马前往大皇宫。而伊琳娜听说这件事后感到非常吃惊,她既不能说服他的儿子放弃,也无法劝说小尼基弗鲁斯反叛。尽管宫廷卫队最初在没有约翰父亲的旨意的证据下拒绝承认约翰,但新皇帝却在暴民们的拥戴下闯入了皇宫。
约翰的军事行动使得安娜托利亚西部的军事实力与经济得到了稳定的恢复,这使他可以开始对这些地区设立普罗尼亚制度了(provincia)。行政中心在非拉铁非城的色雷斯松军区被重新建立。在色雷斯松(thrakesion)以南一个名为mylasa and melanoudion 的军区也被建立。
外交手腕
约翰二世对西方外交政策的核心就是与神圣罗马帝国皇帝结盟。这一政策是很有必要的,因为可以减少南意大利的诺曼人对帝国巴尔干领土所造成的威胁。在西西里的罗杰二世称王并在南意大利获得了至高无上的地位,并建立了一支强大的海军之后,这一威胁变得尤其严重了。为了报答神罗皇帝洛泰尔三世在1136年入侵诺曼人的领地并向南一直推进到巴里,他获得了拜占庭的回报,其中包括一份巨大的酬金。由于教宗英诺森二世与教会在意大利的领地受到了支持对立教宗anacletus ii的罗杰二世的威胁,所以他也加入了约翰与洛泰尔的联盟。然而事实上该同盟难以抗衡罗杰二世,罗杰于1139年通过米尼亚诺条约从教皇处获得了君位。洛泰尔三世的继任者康拉德三世寻求约翰最小的儿子曼努埃尔能与德国皇室联姻。最终,康拉德的小姨子bertha of sulzbach出嫁到了拜占庭。与此同时,罗杰二世也希望能与约翰二世的儿子联姻,但他却没能成功。