中共陜西省委視楊為反動軍閥、劊子手，因此號召“暴動起來，推翻楊虎城軍閥統治”，命令在楊虎城部隊中工作的中共黨員不斷對楊部進行“瓦解兵變”，對于那些不愿意執行命令的黨員就給他們扣上“叛徒”“托派”的帽子。
此外，還有一些其他的沖突，比如楊虎城入主陜西后決定興修楊虎城戎裝照。修水利，召回了陜西著名的水利專家李儀祉，另外還從德國重金聘請了兩位水利專家，但是中共山西省委負責人杜衡卻派人刺殺了兩個德國專家，并且宣揚這是反帝行動。
1933年，杜衡還固執地放火燒掉了具有千年歷史的香山寺，說這是反封建。這些舉動造成了不好的輿論影響，也對中共和楊虎城的關系產生了極大的破壞。
楊虎城雖與中共齟齬不斷，但仍不愿與中共正面沖突，因此其在主政陜西時對中共仍是照顧有加。比如，1931年劉志丹、謝子長在陜北搞土地革命，楊通過杜斌丞資助劉部槍支和金錢。劉志丹在鄰縣被捕時，楊命南漢宸把劉接到西安秘密釋放。由于楊的保護，中共在楊部的組織一直秘密存在并迅速發展。如張漢民任團長的警衛團，1934年全團有中共黨員200多人。
1935年成立的綏署特務第二團有中共黨員近300名。國民黨特務宋志先曾說：“江西是共產黨集中的地方，但那里紅是紅，白是白，紅白分明，工作比較好辦。西安這鬼地方是紅白不分。不少人做的是國民黨的官，吃的是國民黨的飯，卻說的是共產黨的話，甚至做的是共產黨的事。” 這也可以看出楊對中共的確不錯。