#!/usr/bin/php
<?php
/*
WikiBot for PHP
VERSION: 2010-10-08
AUTHOR: [[Wikipedista:DaBler]]
TODO:
* co udělat s více <br/> na konci odrážek?
* používat výjimky k hlášení chyb
* interwiki (vysbírat, třidit, uniq, nakonec)
* kategorie (vysbírat, třidit, uniq, nakonec)
* seznam článků k editaci setřídit a uniq
* rozšířit opravy pravopisu
* možnost lokalizace (použití na jiných než cs wiki)
* odstranit prázdné odrážky
* z "; term" odstranit tučné a italiku
* nahradit [http://cs.wikipedia.org/wiki/...] interními odkazy
* nahradit <i> a <b>
*/
class WikiBot
{
private $base;
private $user;
private $pass;
private $token;
private $user_agent;
private $name;
private static $dict = array();
const COOKIEFILE = 'cookies.txt';
const SLEEP = 4;
public function __construct($base='http://cs.wikipedia.org/w/index.php', $user='DaBlerBot', $pass='heslo')
{
$this->base = $base;
$this->user = $user;
$this->pass = $pass;
$this->token = '';
$this->user_agent = 'WikiBot for PHP (bot=cs:User:DaBlerBot, operator=cs:User:DaBler)';
}
public function run($file='cs.txt')
{
echo "Logging into '{$this->base}'...\n";
if(FALSE === $this->login())
{
echo "Login fails, exiting...\n";
return FALSE;
}
echo "Logged in as {$this->user}\n";
echo "Processing articles in file '${file}'...\n";
$list = array();
$fp = fopen($file, 'r');
if($fp)
{
while(!feof($fp))
{
$b = fgets($fp, 4096);
$b = str_replace("\n", '', $b);
$b = str_replace("\r", '', $b);
if($b)
$list[] = $b;
}
fclose($fp);
}
else
{
echo "Warning: no input\n";
}
foreach($list as $name)
{
echo "Loading article '${name}'...\n";
try
{
$page = $this->edit($name);
if(FALSE === $page)
{
echo "Edit fails, exiting...\n";
return FALSE;
}
echo "Processing...\n";
$this->name = $name;
$new = self::process($page['text']);
$page['attr']['wpSummary'] = $new['summary'];
$page['attr']['wpTextbox1'] = $new['text'];
echo "Posting...\n";
if(FALSE === $this->post($page, $name))
{
throw new Exception('Post fails!');
}
}
catch(Exception $e)
{
echo 'Caught exception: ', $e->getMessage(), "\n";
}
echo "OK (sleeping for ".self::SLEEP." seconds)...\n";
sleep(self::SLEEP);
}
echo "Done.\n";
}
private function getToken()
{
$user = urlencode($this->user);
$pass = urlencode($this->pass);
$url = "{$this->base}?title=Special:Userlogin";
$token = urlencode($this->token);
$c = curl_init();
curl_setopt($c, CURLOPT_URL, $url);
curl_setopt($c, CURLOPT_COOKIEJAR, self::COOKIEFILE);
curl_setopt($c, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_USERAGENT, "WikiBot for PHP (bot=cs:User:DaBlerBot, operator=cs:User:DaBler)");
curl_setopt($c, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($c, CURLOPT_USERAGENT, $this->user_agent);
$r = curl_exec($c);
if( FALSE === $r)
return FALSE;
$pattern = '/<input .*name="wpLoginToken" .*value="([0-9a-z]+)".*>/';
$matches = array();
preg_match($pattern, $r, $matches);
if( count($matches) != 2)
return FALSE;
$this->token = $matches[1];
return TRUE;
}
private function login()
{
$this->getToken();
$user = urlencode($this->user);
$pass = urlencode($this->pass);
$url = "{$this->base}?title=Special:Userlogin&action=submitlogin&type=login";
$token = urlencode($this->token);
$c = curl_init();
curl_setopt($c, CURLOPT_URL, $url);
curl_setopt($c, CURLOPT_COOKIEJAR, self::COOKIEFILE);
curl_setopt($c, CURLOPT_COOKIEFILE, self::COOKIEFILE);
curl_setopt($c, CURLOPT_POST, TRUE);
curl_setopt($c, CURLOPT_POSTFIELDS, "wpName=${user}&wpLoginAttempt=Log+in&wpPassword=${pass}&wpLoginToken=${token}" );
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_USERAGENT, $this->user_agent);
$r = curl_exec($c);
if( FALSE !== $r && ($r === "" || FALSE !== strpos($r,"wgUserName=\"{$this->user}\"")) )
return TRUE;
else
return FALSE;
}
private function edit($name)
{
$title = rawurlencode(str_replace(' ', '_', $name));
$url = "{$this->base}?title=${title}&action=edit";
$c = curl_init();
curl_setopt($c, CURLOPT_URL, $url);
curl_setopt($c, CURLOPT_COOKIEFILE, self::COOKIEFILE);
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_USERAGENT, $this->user_agent);
$r = curl_exec($c);
if(FALSE === $r)
return FALSE;
xml_parse_into_struct(xml_parser_create('UTF-8'), $r, $val, $ind);
$p = strpos($r, '<textarea');
$k = substr($r, $p, strpos($r, '</textarea>') - $p);
$k = substr($k, strpos($k, '>') + 1);
$text = html_entity_decode($k, ENT_QUOTES, 'UTF-8');
if(!isset($ind['INPUT']))
throw new Exception('No input element (MediaWiki has generated non-valid (X)HTML?)');
foreach($ind['INPUT'] as $_=>$num)
$attr[$val[$num]['attributes']['NAME']] = $val[$num]['attributes']['VALUE'];
unset($attr['search']);
unset($attr['go']);
unset($attr['fulltext']);
unset($attr['wpPreview']);
unset($attr['wpWatchthis']);
unset($attr['wpDiff']);
unset($attr['title']);
return array('text' => $text, 'attr' => $attr);
}
private static function fix_headings_cb($m)
{
$str = $m[2];
// '''
$str = preg_replace('/(.*?)\'\'\'(.*?)\'\'\'(.*?)/m', '\1\2\3', $str);
// ''
$str = preg_replace('/(.*?)\'\'(.*?)\'\'(.*?)/m', '\1\2\3', $str);
// [[|]]
$str = preg_replace('/(.*?)\[\[(([^\]]*?)\|)?(.*?)\]\](.*?)/m', '\1\4\5', $str);
// :
$str = preg_replace('/^ *(.*?)( *:?)* *$/', '\1', $str);
return "${m[1]} ${str} ${m[1]}";
}
private static function fix_headings(&$str)
{
$old = $str;
// pekne nadpisy
$str = preg_replace_callback('/^(=+) *(.+?) *(=+) *\r?$/m', "WikiBot::fix_headings_cb", $str);
// nahrada nadpisu
$str = preg_replace('/^(=+) Viz též (=+)\r?$/m', '\1 Související články \2', $str, -1, $tmp);
$str = preg_replace('/^(=+) Podívejte se také na (=+)\r?$/m', '\1 Související články \2', $str, -1, $tmp);
// pred nadpisem bude presne 1 enter, za nadpisem max. 1 enter
$str = preg_replace('/^(=+ .+? =+)\n+$/m', "\\1\n", $str, -1, $tmp);
$str = preg_replace('/^\n*(=+ .+? =+)$/m', "\n\\1", $str, -1, $tmp);
return !($old == $str);
}
private static function fix_categories(&$str)
{
$old = $str;
// kategorie v anglictine
$str = preg_replace('/\[\[ *(:?) *Category *: *(.+?) *\]\]/im', '[[\1Kategorie:\2]]', $str, -1, $tmp);
return !($old == $str);
}
private static function fix_bullets_cb($m)
{
if( preg_match('/^#REDIRECT *(\[\[[^\]]+?\]\]) *\r?$/', $m[0]) || preg_match('/^#PŘESMĚRUJ *(\[\[[^\]]+?\]\]) *\r?$/', $m[0]) )
return "$m[0]";
else
return "$m[1] $m[2]";
}
private static function fix_bullets(&$str)
{
$old = $str;
// odrazky orezat o mezery
$str = preg_replace_callback('/^([\*#;:]+) *(.*?) *\r?$/m', "WikiBot::fix_bullets_cb", $str, -1, $tmp);
// zbavit se <br/> u odrazek
$str = preg_replace('|^([\*#;:]+) (.*?) *<br */?'.'>\r?$|m', '\1 \2', $str, -1, $tmp);
return !($old == $str);
}
private static function fix_entities(&$str)
{
$old = $str;
// HTML entity
$str = preg_replace('/–/m', '–', $str, -1, $tmp);
$str = preg_replace('/—/m', '—', $str, -1, $tmp);
$str = preg_replace('/…/m', '…', $str, -1, $tmp);
return !($old == $str);
}
private static function pref($prefixes, $words)
{
$ret = array();
$prefixes = explode('|', $prefixes);
foreach($prefixes as $p)
foreach($words as $k => $v)
$ret += array($p.$k => $p.$v);
return $ret;
}
private static function postf($postfixes, $words)
{
$ret = array();
$postfixes = explode('|', $postfixes);
foreach($words as $k => $v)
foreach($postfixes as $p)
$ret += array($k.$p => $v.$p);
return $ret;
}
private static function up($arr)
{
$ret = array();
foreach($arr as $k => $v)
{
$ret += array( $k => $v );
$ret += array( ucfirst($k) => ucfirst($v) );
}
return $ret;
}
public static function get_dictionary()
{
$replace = array(
'ocely' => 'oceli',
'mysly' => 'mysli',
'směsy' => 'směsi',
'myšy' => 'myši',
'mosazy' => 'mosazi',
'lžy' => 'lži',
'potmně' => 'potmě',
'zda-li' => 'zdali',
);
// nejde o spřažený výraz
$replace += array(
'nashledanou' => 'na shledanou',
'naviděnou' => 'na viděnou',
'naslyšenou' => 'na slyšenou',
'narozloučenou' => 'na rozloučenou',
'naodchodnou' => 'na odchodnou',
'nauvítanou' => 'na uvítanou',
'nazotavenou' => 'na zotavenou',
'naposilněnou' => 'na posilněnou',
'napováženou' => 'na pováženou',
'nauváženou' => 'na uváženou',
'narozmyšlenou' => 'na rozmyšlenou',
'navysvětlenou' => 'na vysvětlenou',
'nasrozuměnou' => 'na srozuměnou',
'naupřesněnou' => 'na upřesněnou',
'navybranou' => 'na vybranou',
'nazavolanou' => 'na zavolanou',
'narozdíl' => 'na rozdíl',
);
// vyjímka => výjimka
$replace += self::postf(
'ka|ce|ek|kách|kám|kami|kou|ku|ky',
array( 'vyjím' => 'výjim' )
);
// (bez)vyjímečný => (bez)výjimečný
$replace += self::pref(
'|bez',
self::postf(
'ý|á|é|ého|ém|ému|í|ost|ostech|ostem|osti|ostmi|ou|ých|ým|ýma|ými|ě',
array( 'vyjímečn' => 'výjimečn' )
)
);
// (nej)vyjímečnější => (nej)výjimečnější
$replace += self::pref(
'|nej',
self::postf(
'|ch|ho|m|ma|mi|mu',
array( 'vyjímečnější' => 'výjimečnější' )
)
);
// telefoní => telefonní
$replace += self::postf(
'|ch|ho|m|ma|mi|mu',
array( 'telefoní' => 'telefonní' )
);
// standart- => standard-
$replace += self::postf(
'ech|em|ům',
array( 'standart' => 'standard' )
);
// (nad)standartní => (nad)standardní
$replace += self::pref(
'|nad',
self::postf(
'|ch|ho|m|ma|mi|mu',
array( 'standartní' => 'standardní' )
)
);
// standartnost => standardnost
$replace += self::postf(
'|ech|em|i|mi',
array( 'standartnost' => 'standardnost' )
);
// standartizace => standardizace
$replace += self::postf(
'e|emi|i|ích|ím',
array( 'standartizac' => 'standardizac' )
);
// (nej)standartnější => (nej)standardnější
$replace += self::pref(
'|nej',
self::postf(
'|ch|ho|m|ma|mi|mu',
array( 'standartnější' => 'standardnější' )
)
);
// (za|vz|o)pomě(n|l) => (za|cz|o)pomně(n|l)
$replace += self::pref(
'za|vz|o',
self::postf(
'í|ích|ím|ími',
array( 'poměn' => 'pomněn' )
)
+
self::postf(
'|a|i|o|y',
array(
'poměn' => 'pomněn',
'poměl' => 'pomněl'
)
)
);
// vlasní => vlastní
$replace += self::postf(
'|ch|ho|m|ma|mi|mu',
array( 'vlasní' => 'vlastní' )
);
// vlasnost => vlastnost
$replace += self::postf(
'|ech|em|i|mi',
array( 'vlasnost' => 'vlastnost' )
);
$replace += array(
'vlasně' => 'vlastně'
);
// vlasnický => vlastnický
$replace += self::postf(
'ý|á|é|ého|ém|ému|ou|ých|ým|ýma|ými',
array( 'vlasnick' => 'vlastnick' )
);
$replace += array(
'vlasničtí' => 'vlastničtí'
);
// vlasnictví => vlastnictví
$replace += self::postf(
'|ch|m|mi',
array( 'vlasnictví' => 'vlastnictví' )
);
// vlasník => vlastník
$replace += self::postf(
'k|ci|cích|ka|kem|kovi|ku|kům|ky',
array( 'vlasní' => 'vlastní' )
);
// (vy)vlasnit => (vy)vlastnit
$replace += self::pref(
'|vy',
self::postf(
'it|ěme|ěte|í|i|íc|íce|il|ila|ili|ilo|ily|ím|íme|íš|íte|iti',
array( 'vlasn' => 'vlastn' )
)
);
// součastný => současný
$replace += self::postf(
'ý|á|é|ého|ém|ému|í|ost|ostech|ostem|osti|ostmi|ou|ých|ým|ýma|ými',
array( 'součastn' => 'současn' )
);
// tamnější => tamější, vyší => vyšší
$replace += self::postf(
'|ch|ho|m|ma|mi|mu',
array(
'vyší' => 'vyšší',
'tamnější' => 'tamější'
)
);
// roviný => rovinný
$replace += self::postf(
'ý|á|é|ého|ém|ému|í|ost|ostech|ostem|osti|ostmi|ých|ým|ýma|ými',
array( 'rovin' => 'rovinn' )
);
// kamený => kamenný
$replace += self::postf(
'ý|á|é|ého|ém|ému|ost|ostech|ostem|osti|ostmi|ou|ých|ým|ýma|ými',
array( 'kamen' => 'kamenn' )
);
// (ne|mnoho)straný => (ne|mnoho)stranný
$replace += self::pref(
'mnoho|ne',
self::postf(
'ý|á|é|ého|ém|ému|í|ost|ostech|ostem|osti|ostmi|ou|ých|ým|ýma|ými|ě',
array( 'stran' => 'strann' )
)
);
// postraní => postranní
$replace += self::postf(
'|ch|ho|m|ma|mi|mu',
array( 'postraní' => 'postranní' )
);
// proměný => proměnný
$replace += self::postf(
'ý|á|é|ého|ém|ému|ost|ostech|ostem|osti|ostmi|ých|ým|ýma|ými',
array( 'proměn' => 'proměnn' )
);
// -dení => -denní
$replace += self::pref(
'|celo|celotý|čtrnácti|jedno|jednotý|každo|každotý|kolika|kolikatý|několika|několikatý|ob|rovno|tý|dvou|dvoutý|tří|třítý|čtyř|čtyčtý|pěti|pětitý|šesti|šestitý|sedmi|sedmitý|osmi|osmitý|devíti|devítitý|deseti|desetitý|více|vícetý',
self::postf(
'í|ích|ího|ím|íma|ími|ímu|ě',
array( 'den' => 'denn' )
)
);
// i s velkým počátečním písmenem
$replace = self::up($replace);
// tyhle náhrady jsou case sensitive
$replace += array(
'khz' => 'kHz',
'Mhz' => 'MHz',
'Ghz' => 'GHz',
);
self::$dict = $replace;
}
private static function fix_orthography(&$str)
{
$old = $str;
$sep = '[ ,\.;*#\-–—…&\(\)\/\[\]|\'{}=:<>?!"„“\n]';
$replace = self::$dict;
foreach($replace as $pattern => $replacement)
{
$str = preg_replace("/(${sep})${pattern}(${sep})/m", "\\1${replacement}\\2", $str);
}
// dělá to co má, jen by to asi mělo být ve funkci fix_extlinks()
$str = preg_replace('|\[http://http://([^\]]+?) *\]|m', '[http://\1]', $str);
return !($old == $str);
}
private static function fix_links_ex_cb($m)
{
$link = $m[1];
$delim = $m[2];
$fragment = $m[3];
// TODO: link do čitelné podoby
$link = preg_replace("/_/m", " ", $link);
// TODO: fragment do čitelné podoby
$fragment = preg_replace("/_/m", " ", $fragment);
return "${link}${delim}${fragment}";
}
private function fix_links_cb($m)
{
$link = $m[1];
$delim = $m[2];
$desc = $m[3];
if($link === $desc)
$desc = $delim = '';
$link = preg_replace_callback('/^([^#]*)(#?)(.*)/', "WikiBot::fix_links_ex_cb", $link);
if($link === $this->name)
{
if($desc == '')
return "'''${link}'''";
else
return "'''${desc}'''";
}
else
return "[[${link}${delim}${desc}]]";
}
private function fix_links(&$str)
{
$old = $str;
$str = preg_replace_callback("/\\[\\[([^\\|\\]]+)(\\|?)([^\\]]+)?\\]\\]/", array($this, "fix_links_cb"), $str);
return !($old == $str);
}
private function process($str)
{
$summary = "[[Wikipedie:WCW]]:";
// windowsove entery za linuxove, kvuli enterum kolem nadpisu
$str = preg_replace('/\r\n/', "\n", $str);
if(self::fix_headings($str))
$summary .= " opravy nadpisů,";
if(self::fix_bullets($str))
$summary .= " opravy odrážek,";
if(self::fix_entities($str))
$summary .= " náhrada HTML entit,";
if(self::fix_categories($str))
$summary .= " opravy kategorií v angličtině, ";
if(self::fix_orthography($str))
$summary .= " opravy pravopisu, ";
if(self::fix_links($str))
$summary .= " opravy odkazů, ";
if($str == '')
throw new Exception('Empty output!');
$summary .= "…";
return array('text' => $str, 'summary' => $summary);
}
private function post($page, $name)
{
$title = rawurlencode(str_replace(' ', '_', $name));
$mp = array();
foreach($page['attr'] as $aname=>$val)
$mp[$aname] = $val;
$url = "{$this->base}?title=${title}&action=submit";
$c = curl_init();
curl_setopt($c, CURLOPT_URL, $url);
curl_setopt($c, CURLOPT_COOKIEFILE, self::COOKIEFILE);
curl_setopt($c, CURLOPT_POST, 1);
curl_setopt($c, CURLOPT_POSTFIELDS, $mp);
curl_setopt($c, CURLOPT_HTTPHEADER, array('Expect:'));
curl_setopt($c, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($c, CURLOPT_USERAGENT, $this->user_agent);
$ret = curl_exec($c);
if( '' === $ret )
return TRUE;
else
return FALSE;
}
}
$bot = new WikiBot();
$bot->get_dictionary();
$bot->run();
?>
