5月5日以后，上海学生等不断举行集会、示威、宣传。7日，国民党上海市党部召集总商会、商民协会、农民协会、学生会、妇女协会等21个团体代表举行会议，决定建立上海各界反对日军暴行委员会（一般称反日会），从此反日运动的组织基础得以形成（注：《各团体积极反对日军暴行》，《民国日报》1928年5月8日。据日方资料，5月4日，国民党中央党部就进行反日（宣传）运动和日本商品排斥运动，向上海市党部发出训令。上海市党部根据训令，5日决定方针，7日组织反日会（《排日货の实情（その三）》，《北京周报》337号，1929年2月17日）。这种说法虽然具有说服力，但是无法直接确认中央党部给上海市党部所下达的训令。）。9日，以市民代表大会推荐的形式，成立了由各界代表23人组成的反日会执行委员会，下设5人组成的常务委员会，作为执行机构。常务委员会设立秘书处、财务委员会和设计委员会，秘书处内设立宣传委员会、经济绝交委员会、国货提倡委员会及外交后援会（注：《上海特别市反日会组织大纲》，《反日特刊》（《民国日报》附刊，1928年10月10日）（以下简称《反日特刊》）。），组织体系由此正式形成。
反日会的23名执行委员，包括1名市党部代表，1名新闻界代表，7名商界代表，3名劳动界代表，5名学生代表，1名国货维持会代表，1名租界纳税华人会代表，1名律师公会代表，1名海关华员联合会代表，1名妇女界代表。陈德徵当选为执行委员会主席，副主席为王松廷，常务委员为刘云、邬志豪、陇体要（注：《本会职员名录》、《大会大事记》，《反日特刊》。）
陈德徵是上海《民国日报》主编，名义上是新闻界代表，但他又是国民党上海市党部党务指导员兼宣传部长。副主席王松廷以国民党代表身份参加，时为上海市党部党务指导委员会常务委员。刘云和邬志豪各归属上海工会整理委员会和上海商民协会，他们都是能代表工商界的人物。陇体要是上海复旦大学学生，代表学生界，以上海学生联合会常务委员的身份，当选为反日会常务委员（注：在陈德徵强有力的领导下，以上海反日会为中心的上海反日运动得以展开，陈与蒋介石和谭延kai＠①关系也非常好。满铁上海事务所编《上海二於ケル排日货运动卜直接间接ノ关系ヲ有スル各种民众团体ノ解剖》，上海，1928年，3-4页。）。如此看来，上海反日会在其成立阶段，可以说，是在国民党强有力的影响下，以学生组织和商人组织、工人组织为中心组成的。
上海反日会成立后，反日宣传和经济绝交运动成为其主要活动。反日会初期的反日宣传运动主要通过学联会来进行。学联会决定自5月7日始，进行3天同盟罢课，从8日开始派宣传队，在上海进行反日宣传。学联会还决定，17日动员全体学生举行总罢课，在上海和一些外埠地区，开展宣传活动和募集北伐军费的运动（注：以上请参考《学联会反日进行》、《学联会议决暂先上课》、《市学联反日运动》、《市学联昨日起本外埠宣传募捐》、《学生会代表大会》，《民国日报》1928年5月9、11、15、18、22日。）。在国民党上海市党务指导委员会宣传部主持下，6月13日至20日进行了反日宣传周活动，具体内容包括街头宣传、演讲，组织召开反日演讲大会，在租界通过秘密宣传队进行宣传，要求各学校进行反日教育，要求各报社发表反日特刊等（注：《反日运动宣传周之第一日》、《反日运动宣传周第三日》等，《民国日报》1928年6月14、16日。）。
南京、广州、南昌等地，步上海之后尘，陆续成立反日暴行委员会、外交后援会、经济绝交委员会等反日团体，开展类似上海的各种活动（注：有关汉口、厦门、广东、南京、北京、天津等地的反日团体组织及其活动，参见中滨义久前引书，68-177页；又见《首都各界反日激昂》、《首都各界对日经济绝交设计会成立》、《海内外民气激昂》、《南昌之国耻反日大会》、《两粤对日经济绝交》、《赣省反日运动之激昂》等，《民国日报》1928年5月9、10、13、14、20日。）。至此，显然有必要建立全国性组织。6月初，全国反日团体似已进入筹备阶段（注：南京反日会为了商讨全国反日会的组织工作，6月4日派代表到上海。《首都反日会积极进行》，《民国日报》1928年6月3日。），但是正式准备工作始于6月26日。
同一天召开的上海反日会第十三次执行委员会决定筹备全国反日大会，并以上海反日会名义电请国民党各级党部以及各地反日会选派代表，正式开始准备工作（注：《本会大事记》、《反日会通电筹开全国反日大会