Marzenia o indeksie temat php powered by smf. Automatyczne wykrywanie silnika forum
Zorganizowany przez Botmaster Labs, nie planowany. Nie ma czasu, wideo jest potrzebne do konkursu, jak nowomodny trend, chociaż łatwiej wszystko wytłumaczyć dobrymi zrzutami ekranu (moje IMHO), a tak naprawdę nie chcę niczego kręcić. Tak więc zostało bardzo mało dochodowych, głupi spam już w ogóle nie rządzi, tutaj trzeba się zastanowić i nikt nie spali tematu, jeśli tylko te przestarzałe spróbują trochę wepchnąć i pudrować w pięknym opakowaniu. :) Ale tu nie chodzi o nas. Generalnie te 3 „nie”, jak sądzę, w zasadzie stały się barierą udziału w konkursie dla większości potencjalnych uczestników. To jak naprawa samochodu z trzech: tanio, wysokiej jakości, szybko - serwis może jednocześnie spełnić tylko 2 warunki. usiądź i wybierz to, co jest ci bliższe. :) Konkurencja ta sama: mam czas, mogę robić filmy, ale nie mam tematu, lub mogę zrobić film, mam temat, ale nie mam wcale czasu, lub mam wolny czas i mam trochę temka, ale wideo jest przerażające. Ale dobrze, jeśli jednocześnie spełnione są 2 warunki. No dobrze, zostawmy teksty. Będę kontynuował dla siebie. Nie planowałam, co oznacza, że brałam udział w konkursie, nawet wybrałam, na który artykuł będę głosować. Mów, co chcesz, ale Doz bardzo dobrze zna oprogramowanie i bardzo rozsądnie z niego korzysta. Ale dzisiaj dowiedziałem się, że w konkursie pojawiła się intryga. Okazuje się, że nie będę mógł głosować, ale będą mogli to zrobić tylko początkujący, którzy kupili oprogramowanie w 2011 roku i konkurencja jest dla nich przeznaczona. Trochę się zdziwiłem, ale właściciel jest mistrzem. Konkurs jest kampanią reklamową i Aleksander lepiej wie, jak ją przeprowadzić. Ogólnie postanowiłem wtedy opublikować artykuł, nieco łatwiej jest napisać, gdy jest jasne, dla kogo, dla całego kołchozu jest to właściwie niemożliwe.
Długie wprowadzenie dobiegło końca, teraz do rzeczy.
Czego potrzebuje początkujący, gdy nabył taki super kombajn, jakim jest kompleks Xrumer + Hrefer? Zgadza się, naucz się nad tym pracować i odrzuć złudzenie, że zaczynając spamować arkuszami, możesz zarobić pieniądze. Jeśli tak uważasz, od razu przekaż pieniądze na cele charytatywne. Musisz nauczyć się korzystać z narzędzi kompleksu, najlepiej ostrząc go dla siebie. Czas "bierz więcej - rzuć więcej" minął. Ilość ustępuje miejsca jakości. Więc zbierzemy bazę dla siebie, nie ucz się jak to zrobić - zostaniesz w tyle za pociągiem. Oczywiście Hrefer nam w tym pomoże. Jeśli planujesz promować swoje zasoby w Google, musimy również szukać witryn darczyńców za pośrednictwem Google. Myślę, że to jasne i logiczne. Ale Google, jako właściciel miedzianej góry, nie rozdaje wszystkim swojego bogactwa. Potrzebujesz do tego podejścia. Od razu powiem, że nie liczcie na to, że uda wam się coś zebrać na podstawie znaków, które znajdziecie publicznie. Dlatego są dostępne publicznie, ponieważ są bezwartościowe. Nie będę dalej rozwijał tematu. Lepiej powiem ci, jak poprawnie go zmontować, aby zobaczyć wynik, sam dokończysz resztę, najważniejsze jest zrozumienie zasady. Konieczne jest zbieranie na właściwej podstawie na podstawie konkretnych silników, których potrzebujemy, a nie w ogóle na podstawie forów. To jest główny błąd, który popełniają nowicjusze - nie skupiać się na konkretach, ale starać się ogarnąć wszystko w całości. A jednak, jeśli chcesz parsować mniej lub bardziej normalną bazę, odmów jej użycia w zapytaniach operatorskich. Brak „inurl:”, „site:”, „tytuł” itp. Google natychmiast zablokuje wyszukiwarkom takim jak Ty. Dlatego dokładnie badamy silniki, z którymi w obecnie Hrumer działa:
Obsługiwane przez php-Fusion
W wersji Hrumer 7.07 program jest szkolony w kilku nowych silnikach:
forumi.biz, forumb.biz, 1forum.biz, 7forum.biz itp.
phpBB-fr.com, motyw Solarisa phpBB
A proces uczenia się nowych rzeczy trwa nieprzerwanie.
Generalnie musimy przygotować poprawne zapytania do parsowania przez Hrefer. Weźmy jako przykład forumowego djok. Fora SMF... I zacznijmy go rozkładać na części do przeanalizowania. Pomoże nam w tym nasz ukochany Google. Wprowadzanie prośby do Google Fora SMF- w wynikach wyszukiwania jest dużo śmieci, cofamy się do jakiejś 13. strony i wybieramy dowolny link. Natknąłem się na ten: http://www.volcanohost.com/forum/index.php?topic=11.0. Otwieramy i badamy. Musimy znaleźć na stronie coś charakterystycznego, co da się zastosować do wyszukiwania innych stron w tym silniku. W stopce dostrzegamy następujący napis Obsługiwane przez SMF 1.1.14, cytujemy go i wpisujemy do Google, pokazuje nam, że dla tego żądania zna około 59 milionów opcji. Szybko przeglądamy linki, dodajemy kilka lub dwie dodatkowe opcje do tego słowa kluczowego, na przykład "Powered by SMF 1.1.14" topola lub "Zasilany przez SMF 1.1.14" viagra... Jesteśmy przekonani, że prośba jest wspaniała, w wynikach są tylko fora i prawie nie ma dla ciebie śmieci.
Poza tym nie interesuje nas ilość, ale jakość, jak wspomniałem powyżej. Pójść dalej. Z tego samego forum bierzemy ze stopki kolejną frazę: , cytujemy go również i przesyłamy do Google. W odpowiedzi zdradza, że zna ponad 13 milionów wyników. Ponownie przeglądamy wyniki wyszukiwania, dodajemy dodatkowe słowa i sprawdzamy z nimi wyniki. Dbamy o to, aby zapytanie było świetne i prawie nie było śmieci. Ogólnie rzecz biorąc, są już 2 prośby o żelazo. Sugeruję na razie zostawić pierwsze forum w spokoju i kontynuować zbieranie próśb na inne fora. Na szczęście Google jest otwarte na życzenie 2006-2008, Proste maszyny LLC... Z wyników bierzemy na przykład te fora: http://www.snowlinks.ru/forum/index.php?topic=1062.0 i http://litputnik.ru/forum/index.php?action=printpage; topic=380.0 w ich stopkach wpisujemy zapytania: "Powered by SMF 1.1.7" oraz "Powered by SMF 1.1.10" (zawsze radzę jechać w cudzysłowie dla Hrefer, bo przede wszystkim potrzebna jest jakość). Myślę, że jest jasne, co robimy, w końcu będziemy mieli pewną bazę zapytań do wyszukiwania forów na silniku SMF (jest wybrany na przykład, z resztą silników jest tak samo).
Będzie to wyglądać mniej więcej tak:
"Zasilany przez SMF 1.1.2"
"Zasilany przez SMF 1.1.3"
"Zasilany przez SMF 1.1 RC2"
„Zasilany przez SMF 1.1.4”
"Zasilany przez SMF 1.1.8"
"Zasilany przez SMF 1.1.7"
"2006-2008, Simple Machines LLC"
I to nie wszystko. Podczas zbierania wersji silników, na niektórych forach SMF w stopce znajdujemy nadvis "2001-2006, Lewis Media". Sprawdzamy tę prośbę, również w pełni nas satysfakcjonuje. Znajdujemy podobne zapytanie: "2001-2005, Lewis Media". Przechodząc przez stopki natrafiamy na zapytanie: "SMFone design by A.M.A, przeniesiony do SMF 1.1". Sprawdzamy - doskonale. Itp. Pół godziny pracy i masz cudowną bazę zapytań do silnika, a Google będzie zbanowany za te zapytania znacznie rzadziej, niż gdybyś używał w nich operatorów. A jednocześnie Twoja baza danych będzie znacznie czystsza niż w przypadku zapytań typu „index.php? Topic =", bo tutaj Google poda nie tylko fora, których potrzebujemy, ale także dużo pozostawionych zasobów, na których nam się udało wyjechać link do tematu forum. Możesz się spierać, mówią, co w tym złego? Inni zostawili link, co oznacza, że możemy. Ale! Linki może pozostawić nie tylko Hrumer, ale także inne programy. ponadto można je specjalnie zaostrzyć, aby pozostawić komentarze w określonym zasobie, tzw. wysokospecjalistyczne oprogramowanie, plus takie linki można pozostawić ręcznie. Powtarzam, to nie ilość śmieci jest dla nas ważna, ale jakość, baza poprawne zapytania i tak go odbierzemy. Plus Ta metoda także tym, że praktycznie nie trzeba będzie konfigurować w Hrefer sito -filtr
, możesz go po prostu wyłączyć, bo Google praktycznie nie da ci śmieci.
Uważam, że bardzo ważne jest nauczenie się prawidłowego korzystania z Hrefera na początkowym etapie, ponieważ po nauczeniu się tego zawsze można znaleźć zastosowanie dla Hrumera, bez względu na to, jak zmieni się sytuacja. Obrona staje się bardziej skomplikowana, a jeśli na niektórych typach silników ochrona została wzmocniona i nie może sobie z nią poradzić w
ten moment Hrumer, to nie ma sensu wydawać środków na zbieranie tych linków, a potem na pracę nad nimi z Hrumerem, lepiej skoncentrować swoje wysiłki na tym, co daje wynik. A jednocześnie, jeśli zespół Botmaster Labs nauczył Hrumera czegoś nowego, możesz szybko przeprowadzić sekcję nowego pacjenta i przygotować bazę dla Hrumera, gdy pacjent jest jeszcze letni. Czas to pieniądz, zasób może już nie mieć znaczenia przy zakupie bazy. zebrane przez kogoś. Ponadto prawidłowe zbieranie baz dla siebie znacznie rozszerza „białe” zastosowanie Hrumera. I tu właśnie wszystko się porusza, czy nam się to podoba, czy nie, a proces wybielania lub siwienia trwa. Czarne prześcieradła to już przeszłość.
Całą resztę, już techniczne aspekty pracy z Hreferem, można zobaczyć w pomocy i nie ma sensu się nad nimi rozwodzić, wszystkie cele-punkty-sekundy ustalane są empirycznie dla każdego samochodu indywidualnie.
Jako bonus zamieszczę tutaj szablon do parsowania chińskiej wyszukiwarki Baidu, któregoś dnia zostałem o to zapytany, więc zrobiłem to w przerwach, przepraszam za kalambur. :)
Nazwa hosta = http://www.baidu.com
Zapytanie = s? Wd =
LinkiMaska =
Suma stron = 100
Następna strona =
Następna strona2 =
CaptchaURL =
Obraz Captcha =
Pole Captcha =
Próbowałem je przeanalizować w teście, nie było bana, Hrefer żywo zbierał zasoby, wszystkie prośby o parsowanie są podobne do Google, ale chińskie zasoby to morze, i to z wysokim PR, a poza tym jest wiele miejsc, gdzie Europejczyk nie odszedł. Lepiej jest analizować z chińskimi prośbami. Pomoże to w tłumaczeniu przez Google, wpisaniu listy słów kluczowych w języku rosyjskim i przetłumaczeniu jej na chiński. Prawda w „
słowa„Słowa hrefer nie mogą być dodawane w języku chińskim, musisz je przekodować.
Zamiast chińskiego:
伟哥 - viagra
吉他 - gitara
其他 - odpoczynek
保险公司 - ubezpieczenie
Umieść te kody, aby je zastąpić w pliku tekstowym:
% E4% BC% 9F% E5% 93% A5
% E5% 90% 89% E4% BB% 96
% E5% 85% B6% E4% BB% 96
% E4% BF% 9D% E9% 99% A9% E5% 85% AC% E5% 8F% B8
Jeśli promujesz stronę internetową dotyczącą ubezpieczenia, to umieszczając w swoim profilu link na tematyczny (!) Nawet chińskie forum znalezione na żądanie ” Forum SMF "保险公司 będzie bardzo miło.
Podsumowując, chciałbym powiedzieć, że nigdy nie zrozumiałem ludzi, którzy narzekali, że Khrefers są źli lub nie nabazgrali, zawsze chciałem to powiedzieć, po prostu nie umiesz ich ugotować. Lepiej niż hrefer, żaden parser nie wie, jak zbierać wyniki, tylko żądania muszą być poprawne. Hrefer to samochód: dobry, solidny, wykonany po niemiecku, ale człowiek nim jeździ i wszystko zależy od tego, jak mądrze się je prowadzi, nie można zmusić auta do jazdy w prawo i lewo jednocześnie.
Osobnym tematem jest czyszczenie baz, które kiedyś robiłem 3 lata temu na poprzedni konkurs. Przy większej ilości wszystko jest tam nadal aktualne, ale teraz możesz odmówić sprawdzenia 200 OK, naprawdę nie podobał mi się ten proces, błędy były bardzo duże, odfiltrowano wiele niepotrzebnych rzeczy. Teraz można to zrobić niemal automatycznie w trakcie pracy Hrumera, chociaż proces ten nie jest kompletnym odpowiednikiem sprawdzania „200 OK”. Ogólnie rzecz biorąc, do rzeczy: nie tak dawno w Hrumerze pojawiła się wspaniała okazja - rabowania informacji z zasobów w czasie trwania projektu. To wygląda tak. Jedziesz w szablonie, który będzie przetwarzany w procesie, a informacje zebrane z szablonu zostaną wprowadzone do pliku xgrabbed.txt w folderze Logs. Możesz użyć tej funkcji do wszystkiego, lot wyobraźni jest ogromny. Korzystam z tej funkcji raz w tygodniu, aby usunąć „wygasłe” linki z działającej bazy danych. Nie jest tajemnicą, że fora codziennie wymierają, aby oczyścić bazę z takich zasobów, a narzędzie „Autograbbing” nam w tym pomoże.
Mimo wszystko trzeba przyznać, często wpisując np. http://www.laptopace.com/index.php widzimy, że ta domena jest już np. gaddyad, ale nie ma tam forum. Aby więc wyrzucić ten żużel z bazy, będziemy łupić. :) Otwórz kod źródłowy strony i zobacz tam ten wpis:
laptopace.com
Aby chwycić, przekształć to w
[...]
Teraz wszyscy „umarli” z goudaddi będą nam znani po imieniu.
Oto mały wybór narzędzia „Autograbbing”, jeśli chcesz wyczyścić bazę danych z różnych „wygasłych” domen:
[...]
[...]
wejście