सरन्यायाधीशांच्या निवासस्थानाला मोदींनी दिलेली भेट वादात; विरोधक आणि वकिलांचा आक्षेप, तर भाजपकडून पलटवार