黨必須非法地工作。一開始，馬林便指出了這一點。
中國共產黨是以推翻當時中國的社會制度從而建立社會主義制度為行動宗旨的，當然不合當時中國的法。正因為這樣，中國共產黨一大在極端秘密的狀態下舉行。任何不慎，都將招來全軍覆滅的危險後果。
不得不謹慎行事。最初商定，打一槍換一個地方，每日更改開會的場所，以免被密探盯住。
不過，除了李公館，已找不出別的恰當的開會場所不論老漁陽里二號，還是新漁陽里六號，一個是《新青年》編輯部所在地，一個是外國語學社所在地，都是半公開的紅色場所。
無奈，只得繼續在李公館開會。不過，馬林和尼柯爾斯基不再出席會議，因為兩個外國人進出李公館，畢竟太惹人注意了。
秘密舉行的中國共產黨一大，在七月二十二日的預備會、二十三日晚的開幕式之後，經邵維正考證，大約按以下日程繼續進行，開會的地點均為李公館：
日期會議次數主要內容
二十四日第二次各地代表報告工作情況
二十五日休會起草黨的綱領和工作計畫
二十六日休會起草黨的綱領和工作計畫
二十七日第三次討論黨綱和今後實際工作
二十八日第四次討論黨綱和今後實際工作
二十九日第五次討論黨綱和今後實際工作
每日會畢，由張國燾向馬林、尼柯爾斯基彙報會議情況，聽取他們的意見。
會議的氣氛，起初是平靜的。在第二次會議上，各地的代表彙報著各地的情況，如同一根根平行線似的，沒有交叉。毛澤東也作了一次發言，介紹長沙共產主義小組的情況。這是毛澤東在中國共產黨一大唯一的一次發言。他言語不多，卻很留心聽著別人的發言。
第二次會議上推選了幾個人負責起草中國共產黨的綱領和決議。張國燾是會議的主席，當然被選入起草小組。李漢俊懂四國外語，博覽馬克思著作，劉仁靜有著小馬克思的雅號，也被選入起草小組。據董必武回憶，他也參加了起草工作。他還提及，好像李達也是起草者之一。
在起草綱領和決議的過程中，平行線交叉了，爭論開始了。
最激烈的爭論，常常是在兩位飽讀馬克思著作的人物李漢俊和劉仁靜之間進行。
爭論的焦點在於，中國共產黨應當有什麼樣的黨綱。
在李漢俊看來，世界上的革命，既有俄國的十月革命，也有德國社會黨的革命。他以為，中國共產黨要走什麼樣的路，最好派人到俄國和歐洲考察，再成立一個研究機構，經過一番研究之後，才能決定。他以為目前中國共產黨最實際的做法是支持孫中山先生的革命運動，待這一革命成功之後，中國共產黨可以加入議會開展競選。
劉仁靜反對李漢俊的見解，他以為歐洲的議會道路在中國行不通，中國共產黨也不應成為一個馬克思主義的研究團體。他拿出《共產黨宣言》，說中國共產黨應該按照馬克思、恩格斯所說的那樣去做，即以武裝暴動奪取政權，建立無產階級專政，實現共產主義。
雖有陳公博部分地同意李漢俊的意見，但劉仁靜的看法受到多數代表的支持。李漢俊有個長處，當他的意見被大多數人否定之後，他並不堅持。
關於中國共產黨的組織原則，早在一九二一年二月，李漢俊便曾與陳獨秀發生爭執：陳獨秀主張中央集權制，李漢俊主張地方分權制。
在這次會上，李漢俊又一次提出，中國共產黨中央只是個聯絡機關。他又一次處於少數地位，被大多數代表所否決。
很自然地，由此便產生了共產國際與中國共產黨之間關係的討論。馬林在開幕式上已經把共產國際的意見說得清清楚楚。尼柯爾斯基也從伊爾庫茨克的共產國際遠東書記處得到明確的指令，中國共產黨的會議必須有他參加李玉貞：《參加中國共產黨一大的尼柯爾斯基》，《黨史研究資料》，一九八九年第七、八期合刊。
在這個問題上，代表們倒是贊同李漢俊的意見，即中國共產黨可以接受共產國際的理論指導，並採取一致行動，但不必在組織上明確中國共產黨是共產國際的一個支部。代表們主張在黨綱中寫上聯合共產國際。這聯合一詞，實際上沒有接受馬林所說的上、下級關係。後來，直至一年之後，在中國共產黨二大上，才通過了《中國共產黨加入共產國際決議案》，才明確寫上：中國共產黨為國際共產黨之中國支部。
一個意想不到的問題，竟然引起空前激烈的大辯論，那便是在討論黨員條件時，黨員能否在現政府中做官？陳公博主張可以，因為他正在廣東擔任宣傳員養成所所長，而陳獨秀正擔任廣東省教育委員會委員長這樣不小的官。李漢俊也同意他的意見。不過大多數代表以為，中國共產黨是無產階級政黨，黨員不應在資產階級政府裡當官。兩種意見爭執不休。最後，這個問題有意識地迴避了，但是，我們一致認為不應當作部長、省長，一般的不應當任重要行政職務。在中國，官這個詞普遍應用在所有這些職務上。但是，我們允許我們的同志作類似廠長這樣的官。
經過一番又一番爭論，黨綱和決議的草稿紙上，畫滿了蜘蛛網般的修改記號，總算接近定稿了。
屋頂花園。張國燾向馬林和尼柯爾斯基講述著討論的意見，講述著黨綱和決議的初稿。馬林聽著、聽著，當他聽到那句聯合共產國際，頓時雙眉緊鎖。作為共產國際的執行委員，他以為應當不折不扣地貫徹共產國際的決議。
馬林要求出席大會，他要親自向代表們說明共產國際二大所通過的決議