Det opplyser en talsperson for politiet i hovedstaden Berlin til nyhetsbyrået Reuters.
Den ene mannen er en 24-årig tysklibaneser, den andre en 28 år gammel mann fra Gaza-stripen.
De to er mistenkt for kjøp av kjemikalier til en eksplosiv anretning, ifølge politiet.
Politioperasjonen kommer bare to uker før Pave Benedikt skal besøke Tyskland, i forbindelse med en minnemarkering ti år etter terrorangrepene i USA 11. september.
I fjor ble fem menn arrestert i London for mistanke om planer om et terrorangrep mot paven, som var på besøk i Storbritannia.
- LES OGSÅ: Mistenkte for planar om pave-terror
Arrestert i Berlin
– Vi etterforsker det vi mistenker er forberedelser til en alvorlig voldshandling, sier polititalspersonen til Reuters.
Etterforskningen har pågått i flere måneder.
– Vi ser etter kjemiske substanser som det er mulig å lage eksplosiver av.
Ifølge sikkerhetskilder hadde mennene skaffet seg kjølende elementer og en syre til å lage en bombe.
Politiet har gjennomsøkt to leiligheter og et islamsk kultursenter i den tyske hovedstaden. De to mistenkte ble arrestert i Berlin, men politiet vil ikke si når.
Har avslørt flere
De to mistenkte var ofte å se i en moské i arbeiderstrøket Wedding i Berlin, hvor de også overnattet fra tid til annen, skriver Berliner Morgenpost.
Tyskland har vært spart for store terrorangrep de siste årene, men politiet har avslørt flere mulige bombeplaner de siste årene.
Frykten for et angrep vokste etter at det ble kjent at Hamburg var basen til noen av selvmordsbomberne 11. september. Tyske sikkerhetsmyndigheter har flere ganger advart om at militante celler kan eksistere.