Úkol 6 - Web usage mining

• Zpracoval: Tomáš Borovička.
• Po 18:00
• LS 2011

• Source files wum_dataset.zip ZIP
• RapidMiner middw06RapidMiner.zip ZIP

Archiv obsahuje následující data:

• LocalID - interní identifikátor události
• PageID - identifikátor zobrazené stránky
• VisitID - identifikátor session
• PageName - relativní uri navštívené stránky
• CatName, CatID - typ stránky(Navigace), obecnější granularita
• ExtCat,ExtCatID - typ stránky (Obsah), konkrétnější granularita
• TopicName, TopicID - téma stránky (VHT = vysokohorská turistika)
• TimeOnPage - čas na stránce v sekundách. Na poslední stránce v session se předpokládá 30s. Údaj je zaokrouhlen na půlminutové bloky.
• PageScore - váha stránky odvozená od času na stránce o a pořadí stránky v clickstreamu t podle heuristiky (ln(o)+1)*t
• SequenceNumber - pořadí stránky v clickstreamu

• VisitID - identifikátor session
• Referrer - anonymizované označení odkazující domény
• Den - den započetí návštěvy
• Hodina - hodina započetí návštěvy
• Delka_sekundy - délka návštěvy v sekundách (součet hodnot TimeOnPage v řádcích se stejným VistiID v clicks.csv)
• Delka_pocetstranek - počet navštívených stránek během návštěvy (počet řádků se stejným VistiID v clicks.csv)

• Referrer - anonymizované označení odkazující domény
• Typ_Odkazovace - typ odkazující domény

• Navrhněte vhodnou reprezentaci dat pro následné dolování asociačních pravidel a shlukovou analýzu (clustering).
  • Vytvořte dva soubory, kde každý řádek bude reprezentovat jedno sezení (session) a sloupce budou obsahovat data vhodná pro daný typ úlohy.
  • V případě váhové funkce zvolte mezi binární, agregovaným časem, nebo agregovaným PageScore.
• Odstraňte příliš krátké návštěvy (Delka_pocetstranek ⇐2).
• Navrhněte a použijte další metody na pročištění dat.
• Identifikujte měkké konverze: zobrazení stránky se slevami (n_sleva.asp) a s informacemi o přihlášení (jak_se_prihlasit.htm), pojištění (n_pojistenick.asp) a informacemi o CK (n_kdojsme.asp).
• Identifikujte tvrdé konverze: zobrazení stránky n_prihlaska.asp, n_katalog.asp (předpokládejte, že stránka se zobrazuje po úspěšně odeslané přihlášce / žádosti o katalog).

• Pokuste se v datech nalézt zajímavá asociační pravidla, která se vztahují ke konverzi (konsekvent).
• Pokuste se v datech nalézt shluky návštěvníků s podobným profilem (shlukujte především podle atributu TopicName).

Pro dolování dat je preferovaným nástrojem Weka.

• Pro předzpracování dat, stejně jako pro následné dolování dat jsem použil program Rapid Miner.

1. pomocí bloku “Select Attributes” vybereme atributy, které budeme dále zpracovávat
2. blok “Pivot” vytvoří pivot tabulku podle TopicName - to vytvoří sloupec pro každý TopicName, metriku jsem zvolil TimeOnPage, ale nezáleží na ni, jelikož se nakonec stejně nebere v potaz
3. další blok “Replace missing” nahradí chybějící atributy nulou
4. blok “Agregate” agreguje do jednoho řádku (VisitID) všechny témata, které uživatel navšívil
5. jelikož mě nazajímají hodnoty v agregaci, ale pouze zda uživatel byl nebo nebyl v tématu, pomocí “Numerical to Binominal” převedu hodnoty na true/false a jelikož shlukování pracuje pouze s numerical daty, převedu zpět na 0/1 pomocí “Nominal tu Numerical” (njspíš by to celé šlo i diskretizací)
6. další bloky už jen upravují výstup, “Select Attributes” vybere atributy, “Rename Attributes” přejmenovává atributy

• k shlukování použil jsem “Clustering with k-means”
  • k = 8
  • max runs = 100
  • mas optimization steps 1000

Ze shluků můžeme vyvodit jaká témata uživatele spojují. Jako směrodatná data jsem vybíral TOP 5 navštěvovaných témat ve shluku a zároveň téma navštívilo více než 10% navštěvníků ze shluku.

• Cluster 0: Poznávací zájezdy s ubytováním, Turistika
• Cluster 1: Obecné, Poznávací zájezdy s ubytováním, Pobyty s výlety, Poznávací zájezdy s lechkou turistikou
• Cluster 2: Obecné, Turistika, Poznávací zájezdy s ubytováním, Lastminute
• Clusetr 3: Obecné
• Clusetr 4: Obecné, Horská turistika, Vysokohorská turistika, Last minute, Expedice náročné
• Clusetr 5: Černá hora, Korsika, Obecné
• Clusetr 6: Lastminute, Obecné, Lyže, Exotika
• Clusetr 7: Obecné, Exotika, Expedice náročné

Výsledky odpovídají co bychom očekávali, zjímavé shluky jsou například: Clusetr 4, kde vidíme že uživatele spojují témata Horská turistika, Vysokohorská turistika, Last minute, Expedice náročné. Další zajímavým shlukem je Cluster 1, kde uživatele spojují témata Poznávací zájezdy s ubytováním, Pobyty s výlety, Poznávací zájezdy s lechkou turistikou.

• Pro předzpracování dat, stejně jako pro následné dolování dat jsem použil program Rapid Miner.

1. nejdříve bylo data potřeba sjoinovat (je nutné nastavit parametr id, podle kterého se joinuje, ten může být jen jeden, proto používám “Set Role”)
2. odfiltrujeme návštěvy, kde je počet zhlédnutých stránek < 3 → jsou nezajimavé pro asociační pravidla
3. vytvoříme si sloupce pro měkké a tvrdé konverze “Generate Attributes”
4. agregujeme (podle VisitID), metriky, které nás zajímají
5. provedeme diskretizaci a převedeme atributy, které nás zajímají do binomiální podoby (podmínka pro vytváření asoc. pravidel)

• Pro tvorbu asociačních pravidel jsem použil “FP-Growth” a “Create Association Rules”
  • min supprot: 0.01
  • min confidence: 0.2

Ve výsledku můžeme vidět několik zajímavých asociačních pravidel vedoucích ke konverzím, například je vidět, že čím více stránek u6ivatel navštíví, tím větší je pravděpodobnost konverze (měkké i tvrdé). Například je vidět, že pokud uživatel navštívil více než 6 stránek, udělal z 60% tvrdou konverzi a z 50% měkkou konverzi. Zajimavé také může být, že 60% uživatelů, kteří strávili na stránkách méně než 135 vteřin a zároveň zhlédli více než šest stránek udělalo tvrdou konverzi. Jinak jsou mnou získaná asociační pravidla nepříliš zajímavá a chtělo by to lépe předzpracovat vstupní data.