Zgodnie ze Statutem celami Związku są:

1. Reprezentacja i obrona godności swoich członków.
2. Reprezentowanie fizyków medycznych wobec pracodawców, administracji państwowej oraz samorządu terytorialnego i gospodarczego.
3. Obrona interesów zawodowych, materialnych i socjalnych członków Związku.
4. Integracja środowiska fizyków medycznych.
5. Ochrona zawodu fizyka medycznego i działania na rzecz podnoszenia jego rangi i statusu społecznego.
6. Umożliwianie fizykom medycznym stałego podnoszenia kwalifikacji zawodowych.
7. Obrona praw pracowniczych w zakresie wykonywanej pracy zawodowej, statusu materialnego, bezpieczeństwa i higieny pracy.
8. Prezentowanie stanowiska wobec pracodawcy, samorządu terytorialnego i innych organizacji.
9. Realizacja innych zadań wynikających z przepisów o związkach zawodowych, rozwiązywaniu sporów zbiorowych, z prawa pracy i ratyfikowanych konwencji Międzynarodowej Organizacji Pracy.

Decyzja o założeniu OZZFM zapadła 2 marca 2011 roku podczas spotkania Kierowników Zakładów Fizyki Medycznej oraz przedstawicieli Zakładów i Pracowni Radioterapii. Do decyzji bezpośrednio przyczyniły się niekorzystne dla naszej grupy zawodowej zapisy "Rozporządzenia Ministra Zdrowia z dnia 18 lutego 2011 r. w sprawie warunków bezpiecznego stosowania promieniowania jonizującego dla wszystkich rodzajów ekspozycji medycznej". Zapisy te ograniczyły prawo fizyków medycznych do wykonywania swojego zawodu, uzależniając prawo fizyka medycznego do wykonywania testów eksploatacyjnych urządzeń radiologicznych od uzyskania przez niego certyfikatu wydanego przez Krajowe Centrum Ochrony Radiologicznej w Ochronie Zdrowia (§ 9 ust. 12 i 16 Rozporządzenia). Certyfikat taki był wydawany wyłącznie na wniosek kierownika jednostki ochrony zdrowia, w której fizyk jest zatrudniony (ust. 18), i tylko na terenie tej jednostki obowiązywał (ust. 20). Co więcej, Ministerstwo Zdrowia nie ujawniło informacji o przebiegu konsultacji społecznych Rozporządzenia, nie wzięło także pod uwagę stanowiska Krajowego Konsultanta ds. Fizyki Medycznej. W zaistniałej sytuacji ustalono, że środowisko fizyków medycznych będzie dążyło do złożenia skargi konstytucyjnej. Ponieważ skargę taką może złożyć np. związek zawodowy, zadecydowano o założeniu Ogólnopolskiego Związku Zawodowego Fizyków Medycznych.

W kwietniu 2012 roku w Trybunale Konstytucyjnym został złożony wniosek OZZFM o stwierdzenie niezgodności Rozporządzenia w zakresie, w jakim uzależnia ono wykonywanie przez fizyków medycznych testów urządzeń radiologicznych od posiadania certyfikatu wydanego przez KCORwOZ. W lipcu 2012 roku złożony został podobny wniosek Rzecznika Praw Obywatelskich, działającego w porozumieniu z Polskim Towarzystwem Fizyki Medycznej. Ze względu na uwarunkowania prawne, drugi z wniosków został rozpatrzony wcześniej (ścieżka rozpatrywania wniosków składanych przez RPO jest krótsza niż w przypadku wniosku zgłoszonego przez związek zawodowy). W wyroku z 30 lipca 2013 roku Trybunał Konstytucyjny orzekł o niezgodności kwestionowanych zapisów Rozporządzenia z Konstytucją. 17 września 2014 roku weszła w życie nowelizacja Ustawy Prawo Atomowe, znosząca obowiązek uzyskiwania certyfikatów i dająca prawo fizykom medycznym - specjalistom do wykonywania testów urządzeń radiologicznych.

Skarga do Trybunału Konstytucyjnego była pierwszym, ale nie jedynym zadaniem Związku. Musimy dbać o istnienie właściwych, odpowiadających europejskim standardom regulacji prawnych dotyczących roli i zasad kształcenia fizyków medycznych. Fizycy medyczni stanowią grupę zawodową niezbędną do realizacji dobrze wycenianych świadczeń medycznych, ale często niezbyt liczną i niedocenianą. Fizycy medyczni potrzebują silnej reprezentacji zarówno na szczeblu centralnym, jak i lokalnym. Taką reprezentację stanowi Ogólnopolski Związek Zawodowy Fizyków Medycznych.