Facebook csoport aktivitás adatgyűjtés

Adott egy Facebook-csoport több ezer taggal, heti kb. 50-80 poszttal, posztonként 5-50 reakcióval (like, smiley) és kb. 0-30 kommenttel. Az admin részletesebben szeretné elemezni az aktivitást, mint amit a Facebook adminisztrációs eszközök engednek. Érdeklik, hogy mely felhasználók aktívak, kik nem, milyen trendek vannak, és így tovább.

A feladat az elmúlt egy év kb. 4000 posztjának kigyűjtése, valamint az azokhoz kapcsolódó reakciók és kommentek a metainformációkkal együtt. A kimenet néhány táblából áll (lásd lentebb).
A csoport adminja erre kb. 300 000 Ft-ot szán. Ha működik, hosszabb távú projekt lesz, mert sok más funkciót is szeretnének. Emellett egy potenciális termék lehetősége is kirajzolódott, mivel ismerünk más csoportokat is, akik ugyanezt szeretnék.

A FB amennyire tudja, megnehezíti ezt (például egyetlen poszt is 300 kB-os, összetett, bonyolult HTML-kód, random class id-kkel), ezért kell némi tapasztalat. Jó XPath tudás, HTML DOM ismeret, DevTools használata, stealth Puppeteer, ilyesmi, de nem rakétatudomány.

A kimenet sémája:

Members
- user_id (Facebook user ID)
- name

Posts
- post_id (Facebook ID of the post)
- user_id (user ID of the poster)
- date
- text

Comments
- comment_id (Facebook ID of the comment)
- user_id (user ID of the commenter)
- post_id (Facebook ID of the post this comment appears under)
- parent_id (null if top-level comment, comment_id if it’s a reply to another comment)
- text

Reactions
- reaction_id (Facebook ID of the reaction)
- user_id (user ID of the member who reacted)
- post_id (Facebook ID of the post this reaction appears under)
- parent_id (null if top-level comment, comment_id if it’s a reply to another comment)
- reaction_type (emoji code)