Rörby är beläget på nordöstra delen av Lovö. Den tillhör en av de till ytan mindre enheterna i socknen. Rörby gränsar till Hogsta i norr, till Barkarby i väster och till Rinkeby och före detta Vicby i söder och öster. Ägogränserna mot intilliggande brukningsenheter följer naturliga linjära terrängformer i landskapet.
Rörby historiska gårdstomt ligger mellan två höjder på en höjd av 26 meter över havet och är alltså en av de historiska brukningsenheter på Lovö vars bebyggelseläge ligger högst. Av markdispositionen för inägorna på 1640-talet att döma så tycks gårdstomtens läge kunna vara sekundärt. Markerna ligger lägst i söder och högst på höjderna som omgärdar gårdstomten. Ägorna vetter ut mot Mälaren i nordost och stranden är förhållandevis flack.
Rörby omnämns första gången i skriftliga källor år 1409 som i Rørby (SD 1141) och gården beboddes då av bonden Nils. Namnet kommer av ordet rör i betydelsen röse eller gräns. Under 1500-talets början fanns en självägd skattegård i Rörby. År 1567 övergick gården till Gustav Vasas arv och eget. Jordetalet var 1:5:2.
Det finns tre gravfält på Rörby ägor och två gravfält som ligger i ägogränser, ett mot Barkarby och ett mot Hogsta. Det största gravfältet (RAÄ 76:1) är beläget cirka 200 meter sydväst om Rörby gårdstomt. Här finns 35 kända fornlämningar varav sju högar och 28 stensättningar. Gravfältet (RAÄ 61:1) i norra delen av gårdstomten består av tolv fornlämningar varav en hög och elva stensättningar. Gravfältet (RAÄ 78:1) sydost om gårdstomten består av 15 fornlämningar varav fyra högar och elva stensättningar. På gravfältet har en grav undersökts och daterats till 700-800-talet.
Gravfältet i ägogränsen mot Barkarby (RAÄ 77:1) består av cirka elva runda stensättningar. Gravfältet i ägogränsen mot Hogsta (RAÄ 60:1) består av 13 runda stensättningar. Det finns även flera enstaka stensättningar och högar på Rörby ägor.
Rörby karterades första gången på 1640-talet (A1:9). Rörby utgjorde då ett kronohemman. Det årliga utsädet låg mellan 18 och 19 tunnor och ängsmarken avkastade 63 lass hö, varav tre lass togs inom åkergärdena. Det ena av de båda åkergärdena – Östergärdet, brukades i lag med grannbyn Barkarby.
Östra delen av ägorna nyttjades som kohage och gränsade i söder till Rinkeby hästhage (lantmätaren har sannolikt uppgivit fel littera för den mark som förmodligen brukades som äng belägen söder om åkermarken). Till gården fanns skog till mulbete och fiske.
Rörby karterades även år 1690 (A20:287-288). Det årliga utsädet hade minskat till kring 16 tunnor och ängen avkastade 40 lass, det vill säga betydligt mycket mindre än på 1640-talet. Till gården fanns en humlegård med 160 kupor, placerad i västra delen av gårdstomten. Det fanns nödtorftigt mulbete, skog till gärdsel och stör samt ved, fiskevatten till några notvarp.
Rörby karterades även i samband med en ägomätning år 1745 (A58-17:1) av lantmätare Gabriel Boding. Rörby hade efter skattläggningen omvärderats från ett mantal till 17⅛ öresland. Bebyggelsen redovisas i sin faktiska utbredning med två kringbyggda huskroppar, varav den södra utgjorde ladugård. Tre backstugor är redovisade, varav en på Rörby ägor. Rättaretorpet utanför Rörby ägor är också marker
at. Lantmätaren har även markerat ”ättehög” på den plats där det större gravfältet (RAÄ 76:1) ligger.
Ytterligare en humlegård hade anlagts alldeles öster och i direkt anslutning till ladugården.
Det årliga utsädet låg återigen mellan knappt 18 och drygt 19 tunnor. Ängsmarken gav dock fortfarande bara drygt 40 sommarlass hö. Skogsmarken uppger lantmätaren vara mycket bergländig med enbart tall och gran, tillräcklig till gärdsel och ved, men ingen timmer eller lövskog. Mulbetet var något svagt på utmarken, men i kohagen fanns medelmåttigt gott bete.
Fiske hade Rörby intet vidare annat än vid lektid för husbehov.
I utmarken norr om gården har lantmätaren gjort en anteckning om en förfallen damm till vattenkonsterna i Drottningholms trädgård som inte längre kunde nyttjas. Intill dammen låg en stenmur.
Vid 1800-talets mitt förefaller två byggnader i de tidigare kring byggda huskropparna på bytomten rivna. Ängsmarken hade ännu inte odlats upp.
Vid sekelskiftet 1900 fanns två bostadshus i Rörby. Handelsbod var inrymd i ena mangårdsbyggnaden i slutet av 1800-talet innan handelsboden på Hogsta öppnades 1910–15. Av ekonomibyggnaderna som i mitten av 1700-talet varit kringbyggda fanns fem eller sex ekonomibyggnader kvar, de flesta fristående utom två som stod i vinkel. Vid det mindre boningshuset fanns en trädgård, som tidigare brukats som humlegård. Backstugorna fanns inte kvar.
Ute på ägorna hade nästan all ängsmark uppodlats upp till åker utom två mindre skiften i södra delen av ägorna. En åker hade utvidgats nordost om Rörby. En strandäng fanns kvar.
Anneberg, nära gränsen mot Drottningholms ägor alldeles v id Försvarets radioanstalt var bostad och arbetsplats för en repslagare. Söderut mot golfbanan fanns tidigare en repslagarbana. Fredriksdal, beläget mellan Eriksdal och Stångholmen byggdes på 1910-talet av snickare och vagnmakare Lietzén vars son bodde kvar på Fredriksdal till 1979. Vagnmakaren och hans hustru jobbade på Kungsgården respektive slottet.
På 1950-talet hade Berghamn tillkommit vid stranden till Rörby ägor. Berghamn torde ligga på samma plats som en av backstugorna från 1740-talet. Här fanns även trädgårdar. I den under 1800-talet utvidgade åkermarken nordost om Rörby bebyggelse fanns en lada eller annan mindre ekonomibyggnad på 1950-talet. En allé hade planterats utmed Rörbyvägen.
Idag har Ekerö kommun verksamhet i Rörby. Här finns ett stall. Öster om gården anlades Försvarets radioanstalt 1943. En del av Rörby historiska ägor utgör golfbana. Rakt igenom Rörby inägor sträcker sig idag ett öppet, vegetationsfritt stråk ned mot Barkarby ägor där mätningar görs av Försvarets radioanstalt. Rörby används årligen för Hembygdsföreningens höstmarknad.